Googlebot ist Teil einer zentralen Crawling-Infrastruktur
Der Name Googlebot bezeichnet laut Quelle nicht ein einzelnes Programm, sondern Google Search als Nutzer einer zentralisierten Crawling-Plattform. Auch andere Google-Produkte greifen über diese Infrastruktur auf Webinhalte zu, teilweise unter eigenen Crawler-Namen und mit unterschiedlichen Einstellungen. Aus einem Googlebot-Eintrag im Serverprotokoll lässt sich daher konkret auf einen Abruf für Google Search schließen, nicht pauschal auf sämtliche Google-Dienste.
Die 2-MB-Grenze gilt pro URL und Ressource
Googlebot ruft bei einer einzelnen URL derzeit bis zu 2 MB ab, wobei der HTTP-Header mitgezählt wird. PDF-Dateien sind bis 64 MB ausgenommen. Für andere Crawler können abweichende Grenzwerte gelten; ohne individuell festgelegtes Limit nennt Google einen Standardwert von 15 MB. Auch beim Rendering angeforderte JavaScript- und CSS-Dateien sowie XHR-Ressourcen unterliegen jeweils der 2-MB-Grenze.
Nicht abgerufene Bytes können nicht verarbeitet werden
Nach dem Abruf übergibt die Crawling-Infrastruktur die verfügbaren Daten an das Web Rendering Service, kurz WRS. Dieses führt JavaScript und clientseitigen Code ähnlich einem modernen Browser aus, verarbeitet CSS und XHR-Anfragen und versucht so, Text und Seitenstruktur zu erfassen. Es kann jedoch nur Code ausführen, der zuvor tatsächlich abgerufen wurde. Liegen zentrale Texte oder strukturierte Daten hinter der Abrufgrenze, existieren sie aus Sicht von Googlebot nicht.
Bedeutung für Bewertungs- und Reputationsinhalte
Für Unternehmen wird die Grenze relevant, wenn Bewertungszusammenfassungen, Kundenstimmen, Angaben zur Herkunft von Bewertungen oder andere reputationsbezogene Inhalte erst nach großen Datenblöcken erscheinen. Als mögliche Ursachen nennt Google eingebettete Base64-Bilder, umfangreiches Inline-CSS oder -JavaScript sowie sehr große Menübereiche. Verdrängen solche Bestandteile den eigentlichen Inhalt hinter die Abrufgrenze, kann Google diesen nicht für die weitere Verarbeitung berücksichtigen. Die Quelle trifft allerdings keine Aussage darüber, wie einzelne Bewertungen oder Bewertungskennzahlen gerankt werden.
Praktische Relevanz für Local SEO
Standortseiten sollten wesentliche Informationen nicht erst nach technisch umfangreichen Seitenelementen ausliefern. Das betrifft insbesondere Inhalte, die Unternehmen, Standort und Reputation verständlich zusammenführen. Die praktische Konsequenz aus Googles Beschreibung lautet nicht, Seiten künstlich auf einen bestimmten Minimalwert zu reduzieren, sondern kritische Inhalte innerhalb der abrufbaren Daten früh verfügbar zu machen. Google betont zugleich, dass ein HTML-Umfang von 2 MB für die große Mehrheit des Webs bereits sehr groß ist. Das Problem dürfte daher vor allem ungewöhnlich aufgeblähte Seiten betreffen.