Eine Seite oder einen Beitrag vor der Indizierung durch Suchmaschinen wie Google zu schützen, ist relativ einfach und kann auf verschiedene Arten und Weisen bewerkstelligt werden.
Inhaltsverzeichnis:
WP Artikel mit WP Hide Post vor Google Indizierung schützen
In einem klassischen Blog werden veröffentlichte Artikel nach Datum der Veröffentlichung sortiert dargestellt. Das passiert in der Regel auf der Startseite über alle Kategorien hinweg oder auf Kategorieübersichten, bzw. Schlagwortseiten. Möchte man nun dass bestimmte Artikel dort nicht erscheinen, kann man spezielle Plugins wie z.B. WordPress Hide Posts hierfür nutzen. Diese ermöglichen das Ausblenden der Inhalte auf
- Startseite
- Kategorie-Seiten
- Suchergebnisse
- Schlagwort-Seiten
- Autoren-Seiten
- RSS-Feed
- REST-API
- Beitragsnavigation
- Das native Widget für aktuelle Beiträge
und somit dann am Ende auch das Verstecken vor Google.
Mit WordPress Hide Posts kannst du nicht nur normale Beiträge, sondern auch benutzerdefinierte Beitragstypen und WooCommerce-Produkte in bestimmten Bereichen deiner Website ausblenden, z. B. in Produktkategorien oder auf der Shop-Seite. Nach der Aktivierung stellst du in den Einstellungen ein, für welche Beitragstypen die Ausblendfunktion verfügbar sein soll. Beim Erstellen oder Bearbeiten eines Beitrags kannst du dann festlegen, wo er nicht angezeigt werden soll. Beachte aber, dass ausgeblendete Inhalte weiterhin über die direkte URL erreichbar sind.
WP Artikel mit Yoast SEO vor Google Indizierung schützen
Mit Yoast SEO WP Seiten mit noindex versehen
Mit Yoast SEO lassen sich einige Einstellungen bezüglich Suchmaschinenoptimierung vornehmen. Unter anderem bietet das Plugin aber bei jedem Beitrag die Möglichkeit, diesen nicht indizieren zu lassen. Hierzu sucht man unter dem Editor den Block von Yoast und klickt auf das Zahnrädchen. Dort wählt man unter „Erweitert“ die Einstellung „noindex“ unter „Erlaubst du Suchmaschinen, diese Inhalte in den Suchergebnissen anzuzeigen?“. Diese Einstellung sagt Google, dass die Site vom Index ausgeschlossen ist. Es wird folgender Meta-Eintrag gesetzt:
<meta name="robots" content="noindex, nofollow">
Über noindex kannst du per Yoast SEO Plugin die Indizierung in Google unterbinden
Anpassung der robots.txt
Alternativ kannst du Seiten oder Beiträge über die URL per robots.txt ausschließen vor der Indizierung:
Füge folgende Zeilen in deine robots.txt ein, um z. B. die Seite mit der URL example.com/geheime-seite auszuschließen:
User-agent: * Disallow: /url-meiner-seite/
Wichtig: Dies hindert nicht alle Bots am Zugriff, sondern gibt nur eine Empfehlung an Suchmaschinen (Google & Bing halten sich normalerweise daran).
WP Artikel vor Google Indizierung mit Passwort schützen
Natürlich hilft diese Variante niemanden, der kein Passwort vor seine Inhalte stellen möchte. Dennoch soll dieser Weg nicht unerwähnt bleiben. Steht vor einem Artikel oder einer Seite ein Passwort, kann Google die Inhalte auf dieser Seite nicht indizieren. Die URL jedoch sehr wohl. Um WordPress-Inhalte mit einem Passwort zu versehen, wählt man rechts oben im Editor unter „Veröffentlichen“ die Option „Passwortgeschützt“ und vergibt sein Passwort.
Google Indizierung per noindex-Eintrag in header.php verhindern
Wer Zugriff auf die header.php des Themes hat, der kann mit dem Eintrag
<META NAME="ROBOTS" CONTENT="NOINDEX">
die Webseite von der Indizierung ausschließen. Will man nur bestimmte Seiten ausschließen, muss man ein neues template für die page.php erstellen und dort eine andere header.php laden. In dieser kommt dann der Meta Eintrag in den <head></head>-Bereich.
robots.txt Eintrag um WP Webseite komplett vor Google zu verbergen
Um bei einer Webseite komplett den Besuch eines Bots von Google oder anderen Suchmaschinen zu blockieren, legt man eine Datei namens robots.txt im root-Verzeichnis der WP Webseite an und fügt dort diesen Eintrag ein:
User-agent: * Disallow: /
Dieser besagt, dass jeder User Agent verboten ist. D.h. die Site wird zu 100% nicht indiziert.
Seiten oder Beiträge vor KI-Crawlern schützen
Um Inhalte vor KI-Trainingsdaten zu schützen, kannst du ebenfalls die robots.txt nutzen:
User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: /
Damit signalisierst du z.B. OpenAI und Google, dass deine Inhalte nicht für KI-Trainingsdaten genutzt werden sollen.
Zusätzlich kannst du eine meta-Anweisung für einzelne Seiten einfügen:
<meta name="robots" content="noai, noimageai">
Google Indizierung in WP durch WP Hausmittel blockieren
Zu guter Letzt noch die Variante eine WordPress-Webseite für die Indizierung zu blockieren, indem man WP-Hausmittel verwendet. Hierzu navigiert man im WordPress-Dashboard zu Einstellungen->Lesen und aktiviert das Häkchen bei „Suchmaschinen davon abhalten, diese Website zu indexieren.“ Das ist eine übliche Einstellung, wenn man eine Testseite betreibt oder eine Webseite gerade in der Mache ist und noch nicht indiziert werden soll. Man darf nur beim Livegang nicht vergessen, den Haken wieder zu entfernen.
Gründe warum man Inhalte einer WordPress-Webseite vor der Öffentlichkeit verbergen möchte?
- Gastartikel: Hier ließen sich beispielsweise Gastartikel nennen. Nicht selten bieten sich Fremdautoren an, Artikel für den eigenen Blog zu erstellen. Nicht immer möchte man, dass alle Besucher der Webseite diese Artikel auch direkt auf der Startseite zu sehen bekommen.
- Newsletterartikel: Veröffentlicht man ab und an Newsletter für besonders interessierte Besucher, könnte es sein, dass die im Newsletter verlinkten Artikel nur für dieses exklusive Publikum gedacht sind.
- Passwortschutz: Möchte man z.B. Kunden einen exklusiven Zugang zu Inhalten, Downloads oder anderen Goodies bieten, versteckt man diese Inhalte ganz einfach mit der WordPress-eigenen Passwortschutz-Funktion.
- Landingpages: Wer Werbung online bucht (z.B. über Google Adwords), der erstellt im Idealfall spezielle Landingpages für diese Werbung. In der Regel will man diese nicht der Allgemeinheit öffentlich zugänglich machen, damit der Werbekanal auch sauber getracked werden kann.
Das waren nur ein paar Gründe, warum es doch manchmal Sinn macht, WordPress Inhalte vor den Augen anderer zu verbergen. Es gibt sicher noch viele andere Beweggründe. Ganz generell ist es aber auch nicht wichtig welcher Grund dahintersteht. Gut zu wissen ist nur, dass es weder für User, noch für Suchmaschinen ein Problem darstellt, wenn Inhalte vermeintlich versteckt werden. Das passiert tagtäglich auf vielen Webseiten.
Wenn ich eine Seite auf noindex Stelle, kann sie leider noch über die interne Website Suche gefunden werden. Wie kann ich das verhindern.
Schau mal hier zB:
https://www.wpbeginner.com/plugins/how-to-exclude-specific-pages-authors-and-more-from-wordpress-search/#:~:text=Simply%20check%20'Exclude%20from%20Search,to%20Settings%20%C2%BB%20Search%20Exclude%20page.
Bei mir werden die Beiträge nicht indexiert ohne das ich was eingestellt habe. Habe meinen Blog bei wordpress. com in der kostenlosen Variante. Passwörter habe ich auch nicht vergeben. Alle anderen Seiten landen aktuell nach und nach im Index.
Im Dashboard hab ich nichts darüber gefunden ob ich was umstellen kann
Danke Dir für die Antwort und Aktualisierung. Jetzt habe ich die Stelle endlich gefunden. Das hilft mir sehr.
Zu
„Um einen WordPress-Artikel mit noindex zu versehen, wählt man die Option „noindex“ wie im Screenshot zu sehen im Dropdown der Option „Meta robots index“.
habe ich eine Frage. Ich finde die Stelle in Yoast nicht und nicht in den Seiten oder Beiträgen, in denen ich das einsetzen möchte (ich möchte einzelne feste Seiten auf no index setzen). Braucht man dazu die Premium Version? Oder wo finde ich es in der normalen Version?
Eine Antwort würde mich sehr freuen. Danke!
Viele Grüße
Ines
Hallo Ines,
danke für den Hinweis. Yoast SEO hat nun eine etwas andere Oberfläche. Ich habe das Bild für die Beschreibung angepasst.
Vielen Dank für diese interessanten Hinweise. Oft habe ich zusätzlich Dateien, wie Bilder oder PDFs im Dokument. Kann man die eigentlich gezielt individuell gegen eine Indizierung von Suchmaschinen schützen, selbst wenn die Seite indiziert werden darf? Super wäre natürlich ein Plugin, welches auf der Medienübersicht ein Häkchen für noindex/nofollow usw. anbietet. Leider habe ich so etwas noch nicht gefunden … Ich würde gerne den den Suchbefehl „alle PDF dieser Seite anzeigen“ aushebeln.
Ja, das sollte klappen mit dieser Anleitung:
https://www.wpgarage.com/wordpress-as-cms/hide-noindex-pdf-wordpress-search-engines/
Danke für die Tipps!
Ich versuche es jetzt mal über die robot.txt, Google indiziert mir nämlich zwei Seiten, die gar nicht mehr existieren. Und das manuelle Ausschließen über Google’s Webmaster Tool bringt nur ein herübergehendes ausschließen. Da die Seiten nicht mehr existieren, kann ich diese auch mit einer Meta nicht auf noindex setzen…
Bin was das angeht ein wenig ratlos, weil ich nicht verstehe, warum Google diese Seiten überhaupt immer wieder aufnimmt, keine Meiner Seiten verlinkt auf diese.
Zu Punkt 6: „Google Indizierung in WP durch WP Hausmittel blockieren“ indem man im WP-Dashboard in den Einstellungen das Häkchen bei „Suchmaschinen davon abhalten, diese Website zu indexieren“ setzt. Sie verweisen völlig zurecht darauf, diese Auswahl im Normalbetrieb der Site wieder zu entfernen. Denn so sinnvoll diese Methode beim Test ist, die Foren sind voll von Menschen, die verzweifeln, warum ihre Site nicht indexiert wird – weil eben dieser Punkt aktiviert wurde. Hier wäre vielleicht ein regelmäßig erscheinender Hinweis im Backend vor allem für Anfänger hilfreich, dass die Indexierung durch Suchmaschinen aktuell nicht möglich ist.