Neue Webseiten in Suchmaschinen eintragen – so geht es

Normalerweise ist es nicht unbedingt nötig, seine Website aktiv bei den Suchmaschinen anzumelden. Der Bot, der für das Crawling, also das Durchsuchen des WWW und das Erfassen der Seiten zuständig ist, hangelt sich von Link zu Link und gelangt so auf die verschiedenen Webseiten. 

Doch vor allem neuen Webseiten mangelt es an externen Verweisen, den sogenannten Backlinks. Deshalb kann eine aktive Eintragung die Indexierung beschleunigen – irgendwie müssen die Suchmaschinen ja darauf aufmerksam gemacht werden, dass es eine neue Website gibt.

Früher gab es dafür bei Google ein kleines Formular. Mittlerweile gibt es mit der Google Search Console (ehemals Google Webmaster Tools) ein leistungsstarkes Tool, das Webmastern vielerlei Möglichkeiten bietet. Die Indexierung einer Website kann Google grundsätzlich lediglich vorgeschlagen werden. Die Suchmaschine allein bestimmt, ob und wann eine Seite in den Suchindex aufgenommen wird. Es gibt also auch bei Eintragungen über die Search Console keine Garantie für eine Aufnahme. Man macht es Google jedoch leichter und somit steigen natürlich auch die Aufnahmechancen.

Prinzipiell gibt es zwei Möglichkeiten, eine Website für die Search Console bei Google einzutragen:

Die effektivste Methode ist die Erstellung einer Sitemap, die auf dem eigenen Server hochgeladen und dann in der Console durch Angabe der URL hinterlegt wird. Diese Sitemap wird in Extensible Markup Language (XML) erstellt – eine spezielle Auszeichnungssprache, die jedoch nicht sonderlich kompliziert ist.

In der Sitemap stehen alle URLs, die die Suchmaschine aufnehmen soll. Der Vorteil ist, dass ihr so mit einer einmaligen Erstellung Hunderte oder sogar Tausende von Unterseiten auf einmal an Google übermitteln könnt. Aber auch nach der Erstellung sollte die Sitemap möglichst aktuell gehalten werden, wenngleich neue Seiten in Folge natürlich auch über interne Links (z. B. in der Navigation) vom Bot gefunden werden. Für WordPress gibt es beispielsweise Plugins, die die Erstellung oder Aktualisierung der XML-Sitemap übernehmen.

Der exemplarische Aufbau einer XML-Sitemap sieht wie folgt aus:

Neben der Domain (<loc>) können in einem URL-Satz (<url>) bei Bedarf weitere Angaben getätigt werden. So kann beispielsweise definiert werden, wann die Seite zum letzten Mal aktualisiert wurde (<lastmod>), wie oft sie in der Regel aktualisiert wird (<changefreq>) oder auch wie ihre Priorität im Vergleich zu anderen Seiten (Startseite, Kategorien, Unterseiten, etc.) ist (<priority>). Eine XML-Sitemap kann prinzipiell unzählig viele Domains enthalten. Aus Gründen der Übersichtlichkeit können aber auch mehrere Sitemaps erstellt und bei Google hinterlegt werden.

Eine weitere Möglichkeit ist die Funktion "Abruf wie durch Google", die man in der Search Console genauso wie die Sitemap in der Kategorie "Crawling" findet. Hier könnt ihr euch anzeigen lassen, wie eine Seite beim Crawling von Google gesehen wird. Das kann beispielsweise nach einem Hackerangriff sinnvoll sein. So ist es durchaus möglich, dass Hacker die Website für normale Besucher anders aussehen lassen als für den Google Bot. Neben der Desktop- könnt ihr euch aber auch die Mobilversion anzeigen lassen.

Ist eine über diese Funktion aufgerufene URL noch nicht im Suchindex, erscheint der Button "Indexierung beantragen". Der Vorteil ist, dass die Indexierung oft relativ schnell erfolgt. Nachteil: Ihr habt auf diese Weise mehr Arbeit, weil ihr jeweils nur eine URL aufrufen und eintragen könnt. Außerdem ist die sofortige Indexierung auf zehn URLs pro Monat begrenzt, um die Ressourcen von Google zu schonen. Deshalb solltet ihr direkt ein Häkchen bei "Diese URL und ihre direkten Links crawlen" setzen, damit gleich auch die über interne Links erreichbaren Webseiten gecrawlt werden.

Diese Methode wird primär dann angewendet, wenn eine Indexierung besonders wichtig und eilig ist. Beispielsweise dann, wenn man aufgrund eines Rechtsstreits bestimmte Passagen von einer Seite streichen muss.  

Neben Google sollte die Website zumindest auch bei Bing eingetragen werden. Bing und Yahoo haben eine Partnerschaft, sodass die Anmeldung gleichzeitig auch für Yahoo gilt. Anbieter wie WEB.DE, GMX und T-Online greifen hingegen auf den Index von Google zu. Somit erreicht ihr mit beiden Suchmaschinen also fast alle deutschen Internetnutzer. 

Die Eintragung bei Bing kann entweder über ein frei aufrufbares Formular geschehen oder ähnlich wie bei Google über die Bing Webmaster Tools. Der Zugang erfolgt über ein Microsoft-Konto, das kostenlos angelegt werden kann. Auch hier können Sitemaps hinterlegt werden, zusätzlich ist die Eintragung einzelner URLs möglich. 

Die suchmaschineneigenen Tools für Webmaster ermöglichen aber nicht nur die Eintragung, sondern zeigen auch an, welche Seiten bereits indexiert wurden. Alternativ könnt ihr euch die indexierten Seiten auch ohne Zugang anzeigen lassen, indem ihr in den Suchschlitz einfach "site:www.domain.de" eingebt. Es werden dann alle im Index auffindbaren Seiten angezeigt, die zu dieser Domain gehören.

Wie bereits kurz angesprochen, ist auch die Indexierung durch externe Signale sehr effektiv. Neben Backlinks sind das beispielsweise auch Erwähnungen in den sozialen Netzwerken, die von den Suchmaschinen ebenfalls sehr genau beobachtet werden. Um die Indexierung zusätzlich zu unterstützen, solltet ihr euch also gerade in der Anfangsphase um externe Links bemühen – jedoch nicht übertreiben. Denn das Linkwachstum muss natürlich erfolgen. Und am Anfang ihrer Historie hat eine Website naturgemäß nun mal relativ wenige und nicht allzu starke Backlinks. Trotzdem solltet ihr zeitnah mit einer sparsamen Streuung in Blogs, Foren, etc. beginnen. 

Jede Website wird unterschiedlich häufig von den Bots besucht. Die Crawling-Häufigkeit steht laut Google jedoch nicht im Zusammenhang mit dem Ranking. So kann auch eine Seite, die weniger oft besucht wird als andere, ein Spitzenranking in den Suchergebnissen erzielen. Vor allem Google als Marktführer unter den Suchmaschinen muss beim Crawling einen ständigen Spagat meistern. Bei Milliarden von Webseiten müssen einerseits die begrenzten Ressourcen geschont werden, aber andererseits ist die Suchmaschine bestrebt, den Index stets so aktuell wie möglich zu halten, um den Nutzern die bestmöglichen Suchergebnisse zu liefern. 

Trotzdem ist ein regelmäßiges Crawling natürlich erstrebenswert, damit neue Unterseiten sowie Aktualisierungen zeitnah in den Index gelangen. 

Wie häufig der Bot vorbeischaut, hängt damit zusammen, wie oft dieser Änderungen an der Website erwartet und wie die Autorität der Website in den Augen der Suchmaschine ist. Relativ statische Seiten, an denen sich nach der Erstellung nicht mehr viel tut (z. B. die Website eines kleinen oder mittelständischen Unternehmens), werden also seltener besucht als beispielsweise Nachrichtenportale, deren Content täglich wächst. Mit einem Blog oder einer News-Kategorie, die auch wirklich regelmäßig bespielt wird, lässt sich die Crawling-Frequenz folglich erhöhen.

Nicht selten kommt es vor, dass Webmaster bestimmte Unterseiten von der Indexierung ausschließen wollen, damit diese eben nicht über die Suchmaschinen auffindbar und aufrufbar sind. Dafür gibt es verschiedene, zum Teil sehr gute Gründe – es ist z. B. empfehlenswert, das Impressum auszuschließen, damit Datensammler, die Werbung verschicken wollen, keine Chance haben. Auch die Allgemeinen Geschäftsbedingungen (AGB) und die Datenschutzerklärung sollten nicht indexiert werden, weil Abmahnanwälte über die Suchmaschinen häufig gezielt nach rechtswidrigen Passagen suchen und dann teure Post verschicken. Weitere Anwendungsfelder sind paginierte Seiten, interne Suchergebnisseiten oder auch urheberrechtlich geschützte Inhalte. 

Die Indexierung kann aber auf verschiedene Weisen verhindert werden – beispielsweise könnt ihr im Head der Website einen entsprechenden Meta-Tag setzen, der angibt, ob die Seite indexiert werden soll oder nicht. Der Befehl für die Nicht-Indexierung sieht wie folgt aus:

Wer mehrere Unterseiten ausschließen möchte, kann das schneller über die robots.txt tun. Hier werden die URLs, die nicht in den Suchergebnissen erscheinen sollen, mit folgendem Befehl einfach untereinander aufgelistet:

Zwar gibt es keine Pflicht, dass sich die Suchmaschinen an die Bitte der Nicht-Indexierung halten müssen, doch alle seriösen Anbieter tun das. Allerdings können Bots mit negativen Absichten diese Befehle auch ignorieren.

Früher oder später wird fast jede Website von den Bots gefunden und in den Suchindex aufgenommen. Verantwortlich sind dafür vor allem die Links, die quasi die Brücken des World Wide Webs sind und alles miteinander verbinden. Mit ein paar Handgriffen kann das Crawling allerdings deutlich beschleunigt werden. Das ist so einfach, dass man dafür weder einen Dienstleister noch ein Diplom benötigt ;-) 

Neben Google solltet ihr durchaus auch andere Suchmaschinen berücksichtigen. Jedoch ist es auch wichtig, dass ihr euch vorab genau überlegt, welche Unterseiten man lieber nicht in den Suchmaschinen sehen will.