Good Bot vs. Bad Bot – das musst du über die automatisierten Programme wissen

Zunächst möchte ich darauf hinweisen, dass der jüngste Bot-Report der Firma Imperva, welche als eine der wichtigsten Firmen im Cybersecurity-Sektor bekannt ist, ergab, dass etwa 37,2 % des gesamten Datenverkehrs im Internet von Bots, also von Automatismen, stammt. Dies ist ein positiver Trend, da bis 2015 Bots die Überhand im Internet hatten. Noch im Jahr 2013 stellten menschliche, also sogenannte organische Zugriffe, gerade mal 38,5 % des gesamten Internet-Datenverkehrs dar.

Generell lassen sich Bots in zwei Kategorien unterteilen: Good Bot und Bad Bot.

Sie verfolgen das Ziel, Informationen für einen guten Zweck zu sammeln. Hierzu zählen Crawler für Suchmaschinen sowie Bots von Monitoring-Systemen, welche die Erreichbarkeit von Webseiten überprüfen.

Der Google Bot verfolgt den Zweck, Daten für die Google Suchmaschine zu sammeln. Neue Seiten werden so genauer überprüft und in den Such-Index von Google mit aufgenommen. Im Anschluss kehrt der Google Bot regelmäßig wieder auf bekannte Seiten zurück, um zu prüfen, ob es neue Inhalte gibt.

Diese Überprüfungen macht man sich im Rahmen von Suchmaschinenoptimierung (Search Engine Optimizing – kurz SEO) zu Nutze, um die eigene Webseite und die eigenen Inhalte an die Spitze der Suchergebnisse zu bringen. Die sogenannten Crawler bilden den Grundstein einer jeden Suchmaschine. Sie tragen diejenigen Informationen zusammen, die angemessene Ergebnisse auf Suchanfragen bereitstellen. Neben den Begriffen (Web-)Crawler oder einfach nur „Bot“ hört man in diesem Zusammenhang auch häufig den Begriff „Spider“ – dahinter verbirgt sich aber das gleiche.

Solche Bots haben zwar auch zum Teil das Ziel, Informationen zu sammeln, jedoch aus eher bösartigen Gründen. Überprüft wird hier nicht, ob Website-Inhalte aktuell und gepflegt sind, sondern ob veraltete Software genutzt wird oder etwaige Sicherheitslücken erspäht werden können.

Diese Art von Bots füllen bspw. vollautomatisch Formulare aus und senden sie ab, um den Empfänger mit Spam zu versorgen oder das Formular für eigene Zwecke auszunutzen. Dagegen hilft nur das Implementieren eines aktuellen Bot-Schutzes in Form von Captchas oder sogenannten Honeypots. Letztere sind Felder, die für menschliche Besucher nicht sichtbar sind. Diese müssen für das erfolgreiche Absenden von Formularen leer bleiben. Da ein Bot automatische alle Formulare ausfüllt, würde das Absenden dann daran scheitern, dass das Honeypot-Feld eben nicht leer ist.

Es gibt aber auch "Bad Bots", die noch sehr viel ausgeklügelter sind. Sie versuchen, Zugriffe auf Anwendungen oder Accounts zu erhalten, um diese für diverse Zwecke ausnutzen zu können. Gegen eine derartige Kompromittierung ist es am effektivsten, stets darauf zu achten, die eigene Anwendung sowie alle genutzten Plugins oder Extension auf dem jeweils aktuellsten Stand zu halten. Zusätzliche Sicherheits-Extensions oder -Plugins können diese Sicherheit weiter ausbauen. Euch diese vorzustellen, würde aber den Rahmen des Beitrags sprengen.

Ja, Bots sind allgegenwärtig. Und ja, es gibt viele Bots da draußen, die leider etwas Böses möchten.
Durch ein paar wenige Schritte und Verhaltensweisen in der Administration deiner Webseite, kannst du diesen jedoch bereits sehr einfach vorbeugen. Bots werden immer nach nicht gesicherten Formularen und mit Sicherheitslücken behafteten Anwendungen Ausschau halten.

Ist deine Anwendung aktuell und ein Captcha oder etwas Vergleichbares vor all deinen Formularen geschaltet, werden Bots meist gar nicht erst aktiv. Wie du ein Captcha einbindest, liest du hier.

Wie du guten Bots sagst, wo es lang geht und den schlechten Bots den Eintritt verwehrst, das erfährst du morgen in "Wie du die Bots-Konfiguration über robots.txt erstellst und unerwünschte Bots aussperrst".