Сколько доменных имён .com не используется?
Человека, который решил найти свободное имя в зоне .com, поджидает один неприятный сюрприз. Сейчас огромное количество DNS-имен занято, но не используется владельцами. Уже зарезервированы практически все последовательности символов на мировых языках, которые можно сравнительно легко произнести. Более того, заняты все короткие бессмысленные комбинации, состоящие из нескольких символов. В чем причина такого явления: скрытый теневой рынок доменов или примитивное устройство ума большинства жителей планеты, которые выбирают преимущественно схожие имена? Ответ в какой-то степени можно получить, изучая голые статистические данные.
К началу 2020 года в статусе «зарезервировано» в мире находилось больше 138.000.000 доменных имен в зоне *com. В реальности используется примерно 33-34% от этого количества. Речь идет о сайтах компаний, личных страницах, сервисах электронной почты и так далее. Еще столько же не используется вовсе. Еще 1/3 применяется владельцами для разного рода спекуляций.
К слову, именно эта зона является одной из наиболее популярных и цены на красивые доменные имена здесь бывают просто невероятными.
Ниже будут рассмотрены способы использования доменов на основе выборки из 2190 имен.
Как были получены исходные данные
Краулинг стартовал с того, что рандомно были выбраны верхние домены из DNS-файла зоны, пока количество записей не достигло 100 тысяч проверенных имен (некоторые записи все же нельзя назвать валидными, часть играет роль «медовых горшочков» для выявления компьютерных злоумышленников. Где-то 1% – это нейм-серверы, без которых получается в итоге 98 854 действительных доменов).
Для всех имен без исключения была собрана следующая информация:
- метка WHOIS;
- записи DNS для главного домена и поддоменов www;
- коды ответов, полученные посредством сетевых протоколов HTTP и HTTPS для титульной и вспомогательных страниц (если SSL-сертификат не был валидным, то домен переносился в категорию Error);
- скрин Title Page в браузере Firefox.
На изучение заданного диапазона ушло больше 2 суток. Задания выполнялись на одном сервере, находящемся в Data-центре Сингапура. После сбора статистики стартовал второй этап краулинга для доменов, от которых не пришел ответ. Предполагалось, что они могли быть временно недоступны, поэтому требовалась дополнительная проверка. Для 2190 записей из выборки вручную были проверены все ошибки на тот случай, если поисковый бот вышел по таймауту, либо события DOM блокировали подпрограммы JS.
Затем автор исследования подготовил скрипт-помощник, чтобы ускорить ручную классификацию сайтов. Посредством инструмента 2 дня велась работа по категоризации ресурсов. Не все из низ были обработаны вручную. Там, где назначение сайта было очевидным по полю , автор использовал алгоритм для автоматизации рутинной работы. В ряде ситуаций ограничиться сведениями со скриншота не удалось, что привело к необходимости открытия и изучения сайта в браузерной программе.
Статистические данные
Большая часть DNS-имен, представленная в выборке, зарегистрирована силами GoDaddy (45 млн URL-адресов). Треть от этого количества содержит заурядные parking page. Другими словами, один из десяти доменов, зарегистрированных в зоне .com в интернете, содержат рекламу GoDaddy. Хоть в подборке и упоминается больше 1850 регистрационных фирм, ими всеми управляет несколько крупных операторов. Так, под контролем DropCatch.com находится больше 1000 сервисов, предлагающих услуги по регистрации доменных имен. За 2019 год пользователи зарегистрировали 25% доменных имен, представленных в выборке.
Выявленные категории DNS-имен
Перечень категорий дорабатывался по мере продвижения исследования. Так, определенной неожиданностью для автора стало то, что значительное количество зарезервированных доменных имен связано с азартными играми.
Полезный контент
Действующие сайты с полезным контентом составили в выборке 31% от общего числа доменов (43 млн). В эту категорию автор заносил ресурсы также в случае возникновения каких-либо сомнений в плане их принадлежности. Поэтому в плане полезности информации иногда могут возникать вопросы.
Рекламная информация
Адресов, содержащих исключительно рекламу в том или ином виде, оказалось в итоге 23% (31 миллион доменов), что значительно. Следует также помнить, что половина имен, относящихся к этому сегменту, ведет на пресловутый GoDaddy. Сервис публикует на них объявления поискового гиганта, используя при этом ключевые запросы, связанные с DNS-именем компании.
Отсутствует веб-сервер
11% (16 миллионов) составили домены, которые не обеспечили валидного отклика по стандартным портам 80 и 443, при этом не имели записи MX. Наверняка часть этих URL-адресов эксплуатируется сервисами FTP, игровыми серверами и иными службами, но таких подавляющее меньшинство. В эту категорию вошли все сайты, использующие IPv6, так как настройки поискового робота предполагали использования исключительно четвертой версии протокола (IPv4).
Пустой домен
13 миллионов имен (9,2%) можно обозначить, как «пустые». В этом случае веб-сервер откликается на запросы, но после их обработки предоставляет только пустую страницу. Сюда вошли пресловутые «Error 404», шаблоны без заполнения и прочее. Следует различать термины «пустой» и «припаркованный». В первом случае речь идет о домене, который пользователь настроил, но по какой-то причине не добавил контент. Вторая ситуация предполагает только регистрацию имени и отсутствие каких-либо настроек со стороны владельца.
Для продажи
Больше 7% доменных имен выставлено на продажу посредством брокерских структур и торговых сервисов. Таких URL-адресов начитывается 9,8 млн. Любопытно, что около 50% всех доменов торгуется компанией HugeDomains. При этом на официальном сайте организации сообщается, что в ее пользовании находится чуть больше 200.000 имен, которые можно купить. Как видно из статистики, реальная цифра больше на порядок.
Ошибка
При возврате доменом любого ошибки с любым кодом он заносится в эту категорию. Всего здесь числится 5,7% имен (почти 8 миллионов от общего количества). Незначительный процент в этой категории составляют приватные доменные имена, в которых используется стандартная аутентификационная процедура.
Domain Parking
В эту категорию входит 4,8% имен (6,5 млн). При попадании на такой домен выпадает страница регистратора. Пользователь также может увидеть сообщение о том, что домен не настраивался. Для попадания в этот сегмент должна выдаваться страница, которая не содержит сторонней рекламы.
Азартные игры
3% доменов (почти 4 миллиона) имеют отношение к азартным играм. Главная цель таких сайтов – привлечение пользователей и перенаправление их на сайты онлайн казино.
Почта, редирект, приватный, порно
Три наиболее малочисленные категории. К почтовым с некоторой долей условности можно отнести 2,6% имен (3,5 млн). В «редирект» входит чуть больше 1% доменов, которые применяются исключительно для перенаправления пользователей на сайты фирм и магазинов, персональные страницы в соцсетях и подобные ресурсы.
Приватные сайты невозможно изучить без прохождения регистрации (0,64% от общего количества, 0,9 млн). Пользователям доступна обычно только титульная страница. Порнографические домены составляют 0,59% от общего количества зарегистрированных имен в интернете (0,8 млн). Большая часть сайтов выполнена на китайском языке.
