Робот BotNow

Если вы видите в логах сайта запросы с User-Agent BotNowBot, это наш робот. Он читает страницы магазина, когда владелец сайта или кто-то по его просьбе вводит адрес в BotNow, чтобы построить ИИ-консультанта.

Как он представляется

BotNowBot/0.1 (+https://botnow.ru/bot)

Как он себя ведёт

• Соблюдает правила из robots.txt для страниц, кроме самого файла и карты сайта.
• Читает только публичные страницы без входа и не пытается обходить защиту.
• Ограничивает число запросов за один проход и время ожидания. Один проход обычно занимает до нескольких десятков страниц.
• Не заходит на внутренние и закрытые адреса.

Как закрыть доступ

Добавьте в robots.txt вашего сайта:

User-agent: BotNowBot
Disallow: /

Можно закрыть только часть сайта, указав нужные пути вместо /. Если робот должен читать сайт, но его блокирует защита (код ответа 403), добавьте BotNowBot в список разрешённых.

Вопросы и жалобы: hello@llaim.ru.