TOPWebBot

TOPWebBot — измерительный робот проекта TOPWeb. Он открывает публичные страницы сайта в браузере, как обычный посетитель, и сохраняет результаты измерений: скорость загрузки, работу мобильной версии, ответы сервера, разметку, наличие цен и контактов.

Как он себя ведёт

• User-agent: TOPWebBot/1.0 (+https://topw.ru/bot/) — добавляется к строке обычного браузера.
• Открывает главную и до четырёх ключевых страниц, не чаще одного запроса в секунду к домену.
• Не отправляет формы, не регистрируется, не переходит по ссылкам вне сайта, не обходит защиту.
• Уважает robots.txt. Ежемесячный прогон занимает на одном сайте одну-две минуты.

Как исключить сайт из измерений

Добавьте в robots.txt:

User-agent: TOPWebBot
Disallow: /

При следующем прогоне сайт будет пропущен, а страница сайта в рейтинге скрыта. Также можно написать на info@topw.ru с адресом сайта — исключение выполняется в течение пяти рабочих дней.

Как оспорить результат или запросить повторное измерение

Напишите на info@topw.ru: адрес сайта и проверку, с которой не согласны. Мы повторим измерение, сверим доказательство и ответим. Если ошибка на нашей стороне — исправим оценку и укажем это в истории сайта.

Что мы публикуем

Только измеренные факты о сайте с датой и версией методики: числа, статусы ответов, цитаты со страниц, скриншоты первого экрана. Мы не публикуем персональные данные и не даём оценок компаниям.