Website vor Suchmaschinen verbergen: WordPress ausblenden, sperren

Eine neue Website im Aufbau, eine Testfassung auf einer Subdomain, ein Bereich nur für Kunden. Manches davon soll allerdings nicht in den Suchergebnissen auftauchen. In Plesk können Sie eine Website vor Suchmaschinen verbergen, und zwar auf zwei Wegen. Der Schalter Suchmaschinenindexierung im WP Toolkit blendet sie per noindex aus. Das ist eine Bitte an die Suchmaschinen. Ein Passwortschutz ist dagegen eine Sperre für alle, die das Passwort nicht kennen.

Kurz vorweg. Für eine Testfassung mit echten Daten nehmen Sie den Passwortschutz. Der Schalter allein hält niemanden fern, der die Adresse kennt.

Inhaltsverzeichnis

• Warum eine neue Website sofort für Suchmaschinen sichtbar ist
• In WordPress noindex setzen: der Schalter im WP Toolkit
• Mit Passwortschutz die Website vor Suchmaschinen verbergen
• Nur eine bestimmte Seite vor Suchmaschinen ausblenden
• robots.txt: warum ein Verbot zum Crawlen nicht reicht
• Testfassung und Subdomain: was zusätzlich zählt
• Schon in den Suchergebnissen: URLs aus dem Index entfernen
• Wenn das Verbergen nicht klappt

Warum eine neue Website sofort für Suchmaschinen sichtbar ist

Jede Domain und jede Subdomain ist eine ganz normale Adresse im Netz. Sobald es sie gibt, ist sie erreichbar, auch wenn Sie sie nirgends verlinken. Crawler und Suchmaschinen-Bots finden neue Adressen auf vielen Wegen, etwa über Links anderer Seiten. Jedes Zertifikat von Let's Encrypt steht außerdem in öffentlichen Protokollen, samt dem Domainnamen.

Auch das WP Toolkit macht eine neue Installation zunächst sichtbar. Laut Handbuch wird eine neu erstellte WordPress-Website standardmäßig in die Ergebnisse von Suchmaschinen aufgenommen. Ohne Ihr Zutun kann eine halbfertige Seite also im Index landen, denn Google indexiert, was es findet. Wer das nicht will, muss es den Suchmaschinen sagen oder sie aussperren. Sie indizieren die Seite sonst nämlich wie jede andere.

In WordPress noindex setzen: der Schalter im WP Toolkit

Bei WordPress geht es am schnellsten. Klicken Sie links auf WordPress und öffnen Sie Ihre Installation. Die Karte zeigt vier Blöcke, im Block Performance steht der Schalter Suchmaschinenindexierung.

Steht er auf an, darf die Seite in den Suchergebnissen angezeigt werden. Schalten Sie ihn aus, bittet Ihre Website die Suchmaschinen, sie nicht in den Index aufzunehmen. Danach sollen Suchmaschinen sie auch nicht mehr anzeigen.

#Was der Schalter in WordPress umstellt

Der Schalter setzt dieselbe Einstellung, die Sie in WordPress unter Einstellungen und Lesen finden. Sie heißt dort Sichtbarkeit für Suchmaschinen, das Häkchen lautet „Suchmaschinen davon abraten, diese Website zu indexieren“. Viele Anleitungen zitieren es noch als „Suchmaschinen davon abhalten“, gemeint ist dasselbe. WordPress gibt dann auf jeder Seite ein noindex-Meta-Tag aus und schaltet seine eigene Sitemap ab.

Unter dem Häkchen steht in WordPress selbst der Satz: „Es ist Sache der Suchmaschinen, dieser Bitte nachzukommen.“ Die großen Suchmaschinen wie Google oder Bing halten sich in aller Regel daran. Andere Programme tun das nicht, und wer die Adresse kennt, sieht die Seite trotzdem. Das ist eine Bitte, keine Sperre.

#Vor dem Start wieder einschalten

Eine fertige Website, die versehentlich auf noindex steht, ist ein häufiger Fehler. Schalten Sie die Suchmaschinenindexierung deshalb wieder ein, sobald die Seite live geht. Im Dashboard von WordPress erinnert der Hinweis „Suchmaschinen abgewiesen“ daran, solange sie aus ist.

Mit Passwortschutz die Website vor Suchmaschinen verbergen

Zuverlässig verbergen Sie eine Website nur mit einem Passwort. Die Abfrage stellt der Server, noch bevor die Seite lädt. Wer keinen Benutzer und kein Passwort hat, sieht nichts, und das gilt auch für jede Suchmaschine. Google rät selbst zu diesem Weg: „Wenn du auf deiner Website vertrauliche oder private Inhalte hast, musst du sie mit einem Passwort schützen.“

Plesk bietet dafür zwei Stellen:

• Passwortgeschützte Verzeichnisse unter Websites & Domains. Das gilt für jede Website, auch ohne WordPress, und auf Wunsch nur für einen einzelnen Ordner. Jeden Schritt zeigt der Beitrag Passwortschutz in Plesk einrichten.
• Der Schalter Passwortschutz im Block Tools der WordPress-Karte. Er gilt für die gesamte Installation, Sie legen dabei Benutzernamen und Passwort fest.

Soll die Seite nur für kurze Zeit geschlossen sein, ist der Wartungsmodus des WP Toolkit gedacht. Er zeigt Besuchern eine Hinweisseite, statt sie auszusperren.

#Nicht verwechseln: das Passwort eines Beitrags

WordPress kann auch einen einzelnen Beitrag mit einem Passwort versehen. Das ist etwas anderes: Die Seite bleibt erreichbar, nur der Inhalt wird abgefragt. Anleitungen, die sagen, ein Passwort verberge nichts vor Suchmaschinen, meinen meist diesen Fall.

Nur eine bestimmte Seite vor Suchmaschinen ausblenden

Der Schalter im WP Toolkit gilt immer für die gesamte Website. Soll nur eine einzelne Seite aus den Suchergebnissen verschwinden, etwa eine Dankeseite nach einem Formular, setzen Sie noindex für diese Seite. Das ist der übliche Weg, Suchmaschinen mitzuteilen, dass eine Seite nicht in den Index gehört. Die Einstellung dafür bringen SEO-Plugins wie Yoast SEO mit, und zwar im Editor jedes Beitrags.

robots.txt: warum ein Verbot zum Crawlen nicht reicht

Viele Anleitungen nennen zuerst eine Sperre für Crawler. Mit einer Zeile Disallow in der Datei robots.txt verbieten Sie ihnen, eine Adresse abzurufen. Google schreibt dazu aber deutlich: „Sinn und Zweck von robots.txt-Dateien ist es nicht, Webseiten aus der Google Suche auszuschließen.“

Der Grund: Eine gesperrte URL wird zwar nicht gecrawlt, kann aber trotzdem im Index landen, wenn andere Websites auf sie verweisen. Sie erscheint dann ohne Beschreibung in den Suchergebnissen. Und weil der Crawler die Seite nicht abrufen darf, sieht er auch das noindex-Tag nicht. Setzen Sie für eine Seite, die verschwinden soll, deshalb noindex und sperren Sie sie nicht zusätzlich per robots.txt.

Für Dateien, die keine HTML-Seite sind, etwa PDFs, gibt es dieselbe Anweisung als Header der Serverantwort, den X-Robots-Tag.

Testfassung und Subdomain: was zusätzlich zählt

• Doppelter Inhalt. Enthält Ihre Testfassung dieselben Texte wie die Hauptseite und sind beide auffindbar, konkurrieren sie miteinander. Das kann die Suchmaschinenoptimierung der Hauptseite beeinträchtigen. Auch deshalb gehört eine Testfassung geschützt. Wie Sie eine anlegen, zeigt der Beitrag WordPress Testumgebung in Plesk.
• Das Zertifikat. Auch eine verborgene Adresse sollte über https laufen. Sonst geht das Passwort des Passwortschutzes unverschlüsselt durchs Netz. Mehr dazu im Beitrag SSL-Zertifikat in Plesk einrichten.
• Keine Links. Ein Verweis von der Hauptseite ist der sicherste Weg, eine Adresse bekannt zu machen. Setzen Sie für die Testfassung deshalb keinen.

Wie Sie eine Subdomain anlegen, beschreibt der Beitrag Subdomain anlegen.

Schon in den Suchergebnissen: URLs aus dem Index entfernen

Wurde die Seite bereits in den Index aufgenommen, gilt die Reihenfolge: erst schützen, dann entfernen lassen. Solange sie für Crawler sichtbar bleibt, kommt sie wieder. Laut Google wirkt der Passwortschutz auch nachträglich. Sobald Sie eine Seite schützen, die schon in den Ergebnissen steht, verschwindet sie wieder daraus.

Schneller geht es mit der Google Search Console. Dort können Sie eine URL über die Funktion zum Entfernen vorübergehend aus den Suchergebnissen nehmen. Sie brauchen dafür ein bestätigtes Konto für Ihre Domain. Bis die Seite dauerhaft deindexiert ist, dauert es trotzdem, denn das geschieht erst beim nächsten Besuch des Crawlers.

Wenn das Verbergen nicht klappt

#Der Schalter ist aus, die Seite steht trotzdem in den Suchergebnissen

Dann war sie schon vorher im Index, oder eine Suchmaschine hält sich nicht an die Bitte. Schützen Sie die Seite mit einem Passwort und lassen Sie sie entfernen, wie oben beschrieben.

#Nach dem Umschalten passiert nichts

Das ist zu erwarten. Die Wirkung zeigt sich erst, wenn ein Crawler die Seite das nächste Mal abruft.

#Sie finden den Schalter nicht

Er gehört zum WP Toolkit. Deshalb erscheint er nur für eine WordPress-Installation, die dort geführt wird. Eine von Hand hochgeladene Installation nehmen Sie auf, wie es der Beitrag WordPress in Plesk installieren beschreibt. Ohne WordPress bleibt der Passwortschutz.

#Die Live-Seite ist plötzlich nicht mehr auffindbar

Prüfen Sie den Schalter Suchmaschinenindexierung. WordPress speichert die Einstellung in der Datenbank. Wurden Daten aus einer Testfassung samt aller Tabellen auf die Live-Seite kopiert? In diesem Fall kann die abgeschaltete Indexierung mitgekommen sein.

#Die Seite fragt weiter nach dem Passwort

Den Passwortschutz heben Sie auf, sobald die Seite öffentlich sein soll. Im WP Toolkit stellen Sie den Schalter zurück. Ein geschütztes Verzeichnis entfernen Sie hingegen über Schutz entfernen. Den Weg zeigt der Beitrag zum Passwortschutz.