Доверенный IP-адрес для администратора сайта

Avatar
  • обновлен
Цель:
Для проведения аудита сайта необходимо проанализировать все его страницы.
А именно:
1. Внутренние факторы ранжирования страниц (title, description, keywords, анкоры и т.д.); внутренние ссылки; внешние ссылки.
2. Анализ контента.
3. Другие различные факторы ранжирования
Для этих целей SEO-шникам необходимо использовать вспомогательные инструменты по оптимизации сайта.
Обращаю внимание, что речь идет не о спамных программах (или какого-либо рода скриптах-вредителях), а о достаточно авторитетных в SEO инструментах, облегчающие работу над сайтами.

Суть проблемы:
При сканирование сайта происходит блокировка IP-адреса, с которого была запущена программа для аудита сайта.
При этом сканирование осуществляется в один поток, а запросы не чаще 1-го раза в минуту.

Предложения по улучшению:
Предоставить возможность администраторам сайтов прописать доверенный IP-адрес, чтобы не получать бан по IP-адресу и ошибку 403.

PS
Понимаю что технически сложно это сделать, т.к. ставятся под удар сайты находящиеся на одном сервере, но стоит подумать над внедрением такого функционала.
Например:
1. Ограниченным по времени. Раз в неделю, месяц. Либо на пару часов - для сбора SEO информации 2-х часов вполне достаточно, а для DDOS-атаки, на сколько я понимаю - мало.
2. Прописывание одного, конкретного IP (не интервала) - на сколько я понимаю, одного IP для DDOS мало.
и т.п
Avatar
andrey kleimenov
Полностью поддерживаю. Невозможно просканировать сайт через софт, сразу улетает в бан на некоторые время.