Ресурсы, которыми нужно распоряжаться разумно: что такое краулинговый бюджет и зачем он нужен

Тема бюджета и его распределения приводит в состояние нервной дрожи любого маркетолога, но мы сегодня поговорим не о бюджете на маркетинг. В сегодняшнем посте речь пойдет о таком понятии, как краулинговый бюджет: что это такое и как распоряжаться им разумно.

Предыстория: как сайты попадают в поисковую выдачу

Тут и правда сначала нужно прояснить этот момент. Чтобы предоставить в выдаче релевантный ответ на поисковый запрос пользователя, боту сначала нужно найти в базе подходящую страницу. Пока страница не будет добавлена в базу, она не участвует в поисковой выдаче. Процесс добавления страниц сайта в поисковую базу называется индексацией. Именно из-за нее только созданные сайты не будут сразу показываться в выдаче. То же самое касается и вновь созданных страниц.

Индексация сайта: от чего она зависит

Увы, процесс индексации не происходит мгновенно, веб-мастеру придется предпринять определенные действия, чтобы страницы его сайта попали в базу поисковых систем.

Краулинговый бюджет: и все-таки что это такое

Теперь мы вплотную подошли к вопросу о краулинговом бюджете. Дело в том, что для каждого сайта у поисковика есть свой так называемый краулинговый бюджет. Это число страниц, которые поисковик способен проанализировать за определенное время. Чтобы не тратить бюджет впустую, очень важно сообщить боту, какие страницы нужно сканировать, а какие можно просто пропустить. Таким образом вы в силах влиять на течение индексации.

Каким же образом сказать поисковым ботам, как именно вы хотите потратить свой краулинговый бюджет? Способы есть разные:

- через robots.txt

- через карту сайта

- через внутреннюю перелинковку

Используйте их, чтобы ваш краулинговый бюджет всегда был распределен разумно, а важнейшие страницы сайта попадали в выдачу как можно быстрее.



5 просмотров0 комментариев