Тема бюджета и его распределения приводит в состояние нервной дрожи любого маркетолога, но мы сегодня поговорим не о бюджете на маркетинг. В сегодняшнем посте речь пойдет о таком понятии, как краулинговый бюджет: что это такое и как распоряжаться им разумно.
Предыстория: как сайты попадают в поисковую выдачу
Тут и правда сначала нужно прояснить этот момент. Чтобы предоставить в выдаче релевантный ответ на поисковый запрос пользователя, боту сначала нужно найти в базе подходящую страницу. Пока страница не будет добавлена в базу, она не участвует в поисковой выдаче. Процесс добавления страниц сайта в поисковую базу называется индексацией. Именно из-за нее только созданные сайты не будут сразу показываться в выдаче. То же самое касается и вновь созданных страниц.
Индексация сайта: от чего она зависит
Увы, процесс индексации не происходит мгновенно, веб-мастеру придется предпринять определенные действия, чтобы страницы его сайта попали в базу поисковых систем.
Краулинговый бюджет: и все-таки что это такое
Теперь мы вплотную подошли к вопросу о краулинговом бюджете. Дело в том, что для каждого сайта у поисковика есть свой так называемый краулинговый бюджет. Это число страниц, которые поисковик способен проанализировать за определенное время. Чтобы не тратить бюджет впустую, очень важно сообщить боту, какие страницы нужно сканировать, а какие можно просто пропустить. Таким образом вы в силах влиять на течение индексации.
Каким же образом сказать поисковым ботам, как именно вы хотите потратить свой краулинговый бюджет? Способы есть разные:
- через robots.txt
- через карту сайта
- через внутреннюю перелинковку
Используйте их, чтобы ваш краулинговый бюджет всегда был распределен разумно, а важнейшие страницы сайта попадали в выдачу как можно быстрее.
