Индексация сайта - это процесс добавления страниц вашего сайта в базу поисковых систем гугла, яндекса, mail.ru и т.д.. Для этого поисковой бот обходит определенное количество страниц, что называется сканированием
При каждом новом посещении поисковой робот устанавливает дату следующего посещения вашего ресурса. Все верно он сам решает, как часто его сканировать. И на это влияют определенные факторы, в основном это посещаемость и обновляемость.
Смотрим первый показатель: Всего запросов на сканирование. Это и есть приблизительное число сканируемых страниц вашего сайта за сутки при отсутствии добавления новых страничек. От чего зависит этот показатель? Зависит он от нескольких факторов, все перечислять не буду выделю самые главные:
При каждом новом посещении поисковой робот устанавливает дату следующего посещения вашего ресурса. Все верно он сам решает, как часто его сканировать. И на это влияют определенные факторы, в основном это посещаемость и обновляемость.
Как узнать сколько страниц в день сканируется поисковым ботом гугла?
Если вы зайдете панель управления google search console, раздел: Настройки - Открыть отчет, то увидите здесь такую картинку:- Общее количество страниц
- Посещаемость
- Количество публикуемых страниц в день
- Скорость загрузки страниц
Битые ссылки. Как на сканирование сайта влияет ошибка 404
Ошибка 404 возникает тогда, когда ссылка ссылается на несуществующею или удаленную страницу, такие ссылки еще называют битыми ссылками сайта.При этом сервер отдает код 404. Например у вас было две статьи, при этом первая ссылалась на другую и вот в один прекрасный момент вы удаляете вторую статью, но ссылку с первой не удаляете.
Пользователь заходит на первую статью, читает ее, видит там ссылку, кликает по ней, но в итоге перед ним появляется пустая страница с кодом 404. Так же поступает и бот, когда сканирует странички. В итоге он сканирует эти ненужные документы 404, что не есть нехорошо.
По-этому нужно избегать образования подобных явлений. Для этого элементарно не нужно удалять страницы сайта и быть осторожным при перелинковке.
Узнать количество ошибок с кодом 404 можно все в том же google search console - раздел Страницы - Не проиндексировано - Не найдено.
Здесь вы заметите список всех подобных страниц, при Проверке url любой из них можно посмотреть, какие страницы и сайты продолжают ссылаться на удаленную, или несуществующею.
Как найти битые ссылки в гугл консоль
Узнать количество ошибок с кодом 404 можно все в том же google search console - раздел Страницы - Не проиндексировано - Не найдено.
После определения ссылающихся страниц, если есть возможность, заходим на них и удаляем битые ссылки.
Коммент.