Crawling & Indexierung von Produktseiten

Crawling bedeutet, dass Googlebot Ihre Seite besucht und deren Inhalt heruntergeladen hat. Indexierung bedeutet, dass Google diesen Inhalt analysiert, ihn für würdig befunden und in seinem Suchindex gespeichert hat. Eine Seite kann gecrawlt, aber nicht indexiert werden, was häufiger vorkommt, als den meisten Shop-Betreibern bewusst ist.

Stellen Sie sich Crawling so vor, als würde Google durch jeden Gang in Ihrem physischen Geschäft laufen. Indexierung ist, wenn Google entscheidet, welche Produkte es wert sind, ins Regal gestellt zu werden, damit Käufer sie finden können. Wenn eine Produktseite dünnen Content hat, eine andere Seite dupliziert oder technische Probleme aufweist, kann Google sie crawlen und dann entscheiden, dass sie keinen Platz im Index verdient.

Bei einem typischen Online-Shop mit 20.000 Produktseiten sehen wir häufig, dass 30 % bis 50 % dieser Seiten nicht indexiert werden. Das bedeutet, Tausende von Produkten sind in den Suchergebnissen unsichtbar. Die Lücke zwischen gecrawlten und indexierten Seiten ist der Bereich, in dem sich die meisten Ecommerce-SEO-Chancen verbergen.

Der häufigste Grund, warum Google die Indexierung einer Produktseite verweigert, ist doppelter oder beinahe doppelter Inhalt. Wenn 500 Produkte desselben Herstellers identische Beschreibungen teilen, die sich nur im Produktnamen unterscheiden, sieht Google wenig Grund, alle 500 Versionen zu indexieren. Es wählt einige aus und ignoriert den Rest.

Dünner Content ist der zweithäufigste Grund. Eine Produktseite mit einer 20-Wörter-Beschreibung, einem Preis und einem Kaufen-Button liefert fast keine Information, die Google bewerten kann. Vergleichen Sie das mit einem Wettbewerber, dessen Produktseite eine einzigartige 300-Wörter-Beschreibung, Kundenbewertungen, Spezifikationstabellen und Nutzungsanleitungen enthält. Google wird die reichhaltigere Seite indexieren und die dünne überspringen.

Technische Signale können die Indexierung ebenfalls verhindern. Seiten, die langsam laden, Soft-404-Fehler zurückgeben, widersprüchliche Canonical-Tags haben oder durch Noindex-Anweisungen blockiert sind, werden unabhängig von ihrer Content-Qualität nie in den Index gelangen.

Signale zur Seitenqualität spielen ebenfalls eine Rolle. Wenn Ihre Website ein hohes Verhältnis von Seiten niedriger Qualität hat, kann Google die Crawl-Rate für Ihre gesamte Domain reduzieren, wodurch es auch für Ihre guten Seiten schwieriger wird, zeitnah indexiert zu werden. Effektives Crawl-Budget-Management hilft Ihnen, Googles Aufmerksamkeit auf Ihre wertvollsten Seiten zu lenken.

Canonical-Tags teilen Google mit, welche Version einer Seite das Original ist, wenn mehrere URLs ähnlichen oder identischen Inhalt anzeigen. Für Ecommerce-Seiten ist Kanonisierung keine Option. Ohne sie muss Google raten, welche URL indexiert werden soll, und oft rät es falsch.

Produktvarianten schaffen das häufigste Canonical-Szenario. Ein blaues T-Shirt unter /products/cotton-tee?color=blue und eine rote Version unter /products/cotton-tee?color=red teilen möglicherweise 90 % ihres Seiteninhalts. Wenn es sich wirklich um dasselbe Produkt mit Farbauswahl handelt, sollten beide URLs auf die Hauptproduktseite unter /products/cotton-tee kanonisiert werden. Wenn die Farbvarianten eine spürbar unterschiedliche Suchnachfrage haben (Leute suchen speziell nach "blaues Baumwoll-T-Shirt"), können sie separate indexierte Seiten rechtfertigen.

Facettierte Navigation erzeugt noch mehr Canonical-Komplexität. Eine URL wie /shoes?size=10&color=black&brand=nike&sort=price-low ist eine von potenziell Millionen von Filterkombinationen. Diese gefilterten Ansichten sollten entweder zur Hauptkategorieseite kanonisiert oder komplett von der Indexierung ausgeschlossen werden. Die Wahl hängt davon ab, ob diese spezifische Filterkombination echte Suchnachfrage hat.

Wir sehen zwei häufige Canonical-Fehler bei Shops. Erstens zirkuläre Canonicals, bei denen Seite A auf Seite B kanonisiert und Seite B zurück auf Seite A. Zweitens die Kanonisierung aller Produktvarianten auf eine einzelne Elternseite, wenn jede Variante eigenständiges Suchvolumen hat, wodurch rankbare Seiten vor Google versteckt werden.

Index-Bloat tritt auf, wenn Google Tausende von wertlosen URLs indexiert, die die allgemeinen Qualitätssignale Ihrer Website verwässern. Für Ecommerce ist die Hauptquelle von Index-Bloat facettierte Navigation, die filterbare URLs erzeugt.

Betrachten Sie einen Möbelshop mit 200 Produkten in der Kategorie "Sofas". Wenn Käufer nach Farbe (10 Optionen), Material (8 Optionen), Preisspanne (5 Bereiche) und Sitzkapazität (4 Optionen) filtern können, erreichen die möglichen URL-Kombinationen 1.600, bevor Mehrfachauswahl-Filter berücksichtigt werden. Die meisten dieser gefilterten Ansichten zeigen dieselbe kleine Auswahl an Produkten in unterschiedlicher Reihenfolge.

Der Standardansatz zur Kontrolle von Index-Bloat umfasst drei Ebenen. Erstens, verwenden Sie die robots.txt, um Googlebot am Crawlen der offensichtlichsten wertlosen Filtermuster zu hindern. Zweitens, wenden Sie Noindex-Tags auf gefilterte Seiten an, die Googlebot trotzdem über andere Pfade erreichen kann. Drittens, verwenden Sie Canonical-Tags, um gefilterte Ansichten zurück auf die Hauptkategorieseite zu verweisen.

Ein gezielterer Ansatz ist, die Indexierung selektiv für Filterkombinationen zuzulassen, die echten Suchanfragen entsprechen. Wenn Menschen in nennenswerter Zahl nach "Ledersofas" suchen, könnte die URL /sofas?material=leather die Indexierung wert sein. Aber /sofas?material=leather&color=brown&seats=3 mit ziemlicher Sicherheit nicht.

Shopify-Shops handhaben dies anders als WooCommerce oder Magento, da Shopify standardmäßig keine Filter-URLs generiert. Drittanbieter-Filter-Apps wie Smart Product Filter erstellen diese URLs, und jede App handhabt Canonical-Tags und Indexierungskontrollen unterschiedlich. Überprüfen Sie immer, wie Ihre Filter-App diese technischen Details verwaltet.

Die Google Search Console bietet zwei primäre Tools zur Überwachung der Indexierung. Der Seitenbericht (früher Abdeckungsbericht) zeigt, wie viele Ihrer Seiten indexiert sind und warum der Rest ausgeschlossen wurde. Das URL-Prüftool lässt Sie den Status einzelner Seiten überprüfen.

Im Seitenbericht konzentrieren Sie sich auf den Tab "Nicht indexiert". Google gruppiert ausgeschlossene Seiten nach Grund: "Gecrawlt - derzeit nicht indexiert", "Gefunden - derzeit nicht indexiert", "Duplikat ohne vom Nutzer ausgewähltes Canonical", "Durch noindex-Tag ausgeschlossen" und mehrere andere. Jeder Grund erfordert eine andere Lösung.

"Gecrawlt - derzeit nicht indexiert" bedeutet, Google hat die Seite besucht, sich aber entschieden, sie nicht in den Index aufzunehmen. Dies signalisiert normalerweise ein Problem mit der Content-Qualität. Den Content der Seite zu verbessern, einzigartige Beschreibungen hinzuzufügen oder sie mit Bewertungen und strukturierten Daten anzureichern, kann helfen.

"Gefunden - derzeit nicht indexiert" bedeutet, Google weiß, dass die URL existiert, hat sich aber noch nicht die Mühe gemacht, sie zu crawlen. Das deutet auf niedrige Crawl-Priorität hin, oft verursacht durch schwache interne Verlinkung oder eine zu tiefe Position in der Seitenhierarchie.

Das URL-Prüftool zeigt Ihnen genau, was Google sieht, wenn es eine bestimmte Seite crawlt. Nutzen Sie es, um zu verifizieren, dass Ihre Canonical-Tags beachtet werden, dass Ihre Seite korrekt gerendert wird und dass keine versehentlichen Noindex-Tags die Indexierung blockieren. Wir empfehlen, monatlich 10 bis 20 repräsentative Produktseiten zu prüfen, um Probleme früh zu erkennen.

Beginnen Sie mit einer Prüfung, welche Produktseiten derzeit indexiert sind. Verwenden Sie den site:-Operator in Google (site:ihrshop.de/products/), um eine grobe Zählung zu erhalten, und gleichen Sie diese dann mit GSC-Daten ab. Wenn weniger als 70 % Ihrer Produktseiten indexiert sind, gibt es Handlungsbedarf.

Schreiben Sie einzigartige Produktbeschreibungen zuerst für Ihre meistverkauften und margenstarksten Produkte. Diese Seiten haben das größte Umsatzpotenzial aus der organischen Suche. Schon das Hinzufügen von 150 bis 200 Wörtern einzigartigem, beschreibendem Content pro Produktseite kann den Unterschied zwischen indexiert und ignoriert ausmachen.

Konsolidieren Sie Seiten, die keinem eigenständigen Zweck dienen. Wenn Sie 30 Farbvarianten desselben Produkts haben und keiner dieser farbspezifischen Begriffe Suchvolumen hat, konsolidieren Sie sie unter einer einzigen Produktseite mit Farbauswahl. Diese eine starke Seite wird 30 dünne Seiten jedes Mal übertreffen.

Stärken Sie die interne Verlinkung zu Produktseiten, die Sie indexiert haben möchten. Verlinken Sie von verwandten Blogbeiträgen, vom Bereich für empfohlene Produkte auf der Startseite und von anderen Produktseiten über "Kunden kauften auch" oder "Verwandte Produkte"-Widgets. Jeder zusätzliche interne Link signalisiert Google, dass die Seite wichtig ist.

Halten Sie schließlich Ihre Sitemap sauber. Entfernen Sie URLs, die 404-Fehler zurückgeben, die auf Noindex gesetzt sind oder die Sie zu konsolidieren beschlossen haben. Eine schlanke Sitemap, die nur Seiten enthält, die Sie wirklich indexiert haben möchten, gibt Google ein klareres Bild Ihrer Seitenstruktur. Für einen tieferen Einblick lesen Sie unseren Leitfaden zu technische SEO für Ecommerce.

Das Content Warehouse Leak enthuellte ein Modul namens CompressedQualitySignals, das als Pro-Dokument-"Akte" fungiert. Es buendelt siteAuthority, unauthoritativeScore, lowQuality, anchorMismatchDemotion, exactMatchDomainDemotion und pandaDemotion. Dokumente, die den Vorfilter nicht bestehen, werden uebergangen, bevor teurere Ranking-Arbeit ueberhaupt laeuft.

Fuer Produktseiten aendert dies die Priorisierung. Duenne PDPs mit Template-Beschreibungen koennen das lowQuality-Flag in grosser Menge ausloesen und das gesamte Standing der Site herunterziehen. Ein Shop mit 10.000 Produkten, von denen 8.000 nur herstellergelieferte Absaetze haben, lehrt Google, dass der Katalog ueberwiegend wenig Aufwand zeigt. Der Fix ist selten "mehr keyword-reichen Text schreiben" - er ist Pruning, Konsolidierung von Varianten unter einem einzigen Canonical und Konzentration redaktionellen Aufwands auf die PDPs, die tatsaechlich Umsatz tragen.

Indexierungs-Entscheidungen folgen daraus. Google weigert sich oft, PDPs zu indexieren, die wenig hochwertig aussehen, selbst wenn sie gecrawlt sind. Wenn Ihr GSC-Wert "Gecrawlt - derzeit nicht indexiert" hoch ist, sind die lowQuality- und pandaDemotion-Signale eine wahrscheinlichere Erklaerung als Crawl-Budget.