Самая легкая комплектация программы WebDownloader. По сравнению с другими комплектациями сюда не включены средства построения отчетов, оболочка к SQL-серверу, SEO-функционал, движок на сокетах. Но тем не менее это завершенная отработанная программа, по функциональности напоминающая поисковую машину Yandex, Google или Yahoo, но ориентированная на проход рунета не вглубь (по всем страницам каждого найденного домена), а вширь (для поиска в рунете как можно большего количества доменов).

WebDownloader позволяет сделать поисковые запросы по неотображаемым текстам на страницах сайтов, по информации Web-серверов, которые хостят найденные сайты, по географическому местоположению сайтов, по провайдерам и датацентрам, по технологическим платформам сайтов, по доменной информации сайтов и другой подобной информации, которую не предоставляют обычные поисковые машины.

WebDownloader начинает анализ рунета путем скачивания 15 тысяч страниц из Яндекс и Mail каталогов. Затем эти страницы парсятся и выделяются первые 400 тысяч сайтов, упомянутых в этих каталогах. Затем WebDownloader'ом можно скачать эти 400 тыс. сайтов, найти в них ссылки для дальнейшего скачивания, определить владельцев доменов, платформу сайтов. Процесс поиска новых сайтов рунета можно повторить вновь и вновь.

WebDownloader может непрерывно работать неделями, в мультипоточном режиме, самостоятельно обрабатывая все ошибки и формируя базу для ваших поисковых запросов. Отлично подходит для аналитиков рунета, способных самостоятельно составлять отчеты с помощью запросов на языке SQL.

Вы можете не только приобрести эту специализированную поисковую машину, но и несколько вариантов сформированных этим поисковиком баз WebDownload, которые были сформированы за 10 или 20 дней непрерывной работы.

Подробнее