Co to jest crawl budget?

Crawl budget (definicja) to ilość zasobów, jakie roboty wyszukiwarek są gotowe przeznaczyć na indeksowanie danej strony internetowej. Obejmuje liczbę podstron oraz częstotliwość ich odwiedzania przez crawlery. Crawl budget ma szczególne znaczenie w dużych serwisach, sklepach internetowych i portalach z rozbudowaną strukturą. Optymalizacja crawl budgetu polega m.in. na eliminacji duplikatów, poprawnej strukturze linkowania i usuwaniu zbędnych adresów URL.