SEO & KI-Sichtbarkeit1. November 2026

KI-Crawler und robots.txt: Was deine Praxis-Website freigeben sollte (2026)

GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended: Was jeder Bot tut, was Blockieren bewirkt und was eine Praxis-Website technisch prüfen sollte.

CT

Christian Tölsner

Webdesigner & SEO-Spezialist, Wien

Wenn du wissen willst, ob ChatGPT, Perplexity oder Googles KI-Antworten deine Praxis überhaupt lesen können, beginnt die Antwort nicht bei Texten oder Schema-Markup, sondern bei einer kleinen Datei: der robots.txt. Dort legst du fest, welche Crawler welche Teile deiner Website abrufen dürfen. Und weil es nicht einen KI-Bot gibt, sondern mehrere mit sehr unterschiedlichen Aufgaben, lohnt sich ein genauer Blick.

In diesem Artikel ordne ich die wichtigsten Bots ein, jeweils mit dem, was der Betreiber in seiner eigenen Dokumentation schreibt. Was ich nicht belegen kann, sage ich dazu. Eigene Einschätzungen sind mit «meine Einschätzung» markiert.

Drei Arten von Bots, nicht ein «KI-Bot»

Die Anbieter trennen ihre Bots inzwischen nach Zweck. Das ist der wichtigste Punkt des ganzen Themas, denn jede Art hat eine andere Folge, wenn du sie sperrst:

Suchbots bauen einen Suchindex auf. Eine Sperre kann verhindern, dass der Anbieter deine Seiten für seine Suche abruft oder indexiert. Die genaue Auswirkung unterscheidet sich je nach Dienst.
Trainingsbots sammeln Inhalte, die zum Training von KI-Modellen verwendet werden können. Mit der Sperre erklärst du gegenüber dem Anbieter, dass deine Inhalte nicht für dessen Modelltraining verwendet werden sollen. Eine Garantie für alle Datenquellen oder eine rückwirkende Entfernung ist das nicht.
Nutzer-Bots rufen eine Seite ab, weil gerade jemand im Chat eine Frage dazu gestellt hat. Ihre Regeln unterscheiden sich je nach Anbieter.

Die wichtigsten Bots im Überblick

Die Tabelle fasst zusammen, was die Anbieter selbst dokumentieren (abgerufen am 01.11.2026). Namen und Verhalten können sich ändern, prüfe sie deshalb bei Bedarf in den verlinkten Quellen.

Bot	Betreiber	Aufgabe laut Betreiber	Wenn du ihn sperrst
OAI-SearchBot	OpenAI	Zeigt Websites in den Suchfunktionen von ChatGPT an	Die Website erscheint nicht in ChatGPT-Suchantworten, kann aber noch als Link auftauchen
GPTBot	OpenAI	Crawlt Inhalte, die für das Training von KI-Modellen verwendet werden können	Inhalte sollen nicht für das Training verwendet werden
ChatGPT-User	OpenAI	Ruft eine Seite ab, wenn ein Nutzer in ChatGPT eine Frage stellt	OpenAI schreibt, dass robots.txt-Regeln hier möglicherweise nicht greifen, weil der Nutzer die Aktion auslöst
PerplexityBot	Perplexity	Soll Websites in den Perplexity-Suchergebnissen anzeigen und verlinken; laut Perplexity nicht fürs Modelltraining	Die Website kann in Perplexity-Suchergebnissen fehlen
Perplexity-User	Perplexity	Ruft Seiten ab, wenn ein Nutzer eine Frage stellt	Laut Perplexity ignoriert dieser Abruf robots.txt in der Regel
ClaudeBot	Anthropic	Sammelt Web-Inhalte, die beim Training von Modellen helfen können	Du erklärst, dass deine Inhalte nicht für das Modelltraining dieses Anbieters verwendet werden sollen
Claude-SearchBot	Anthropic	Verbessert die Relevanz von Suchergebnissen	Inhalte werden nicht indexiert, die Sichtbarkeit in Suchantworten kann sinken
Claude-User	Anthropic	Ruft Seiten ab, wenn ein Nutzer Claude etwas fragt	Abrufe für Nutzeranfragen unterbleiben, die Sichtbarkeit kann sinken
Google-Extended	Google	robots.txt-Token, das steuert, ob Inhalte für das Training künftiger Gemini-Modelle und für Grounding verwendet werden	Laut Google keine Auswirkung auf Aufnahme oder Ranking in der Google-Suche; betrifft aber Training und Grounding in Gemini Apps und Vertex AI

Quellen: OpenAI, Overview of OpenAI Crawlers; Perplexity, Perplexity Crawlers; Anthropic, Does Anthropic crawl data from the web; Google, Common crawlers (Google-Extended). Links im Quellenverzeichnis.

Google: Nicht Google-Extended entscheidet über die KI-Übersichten

Ein verbreitetes Missverständnis: Wer Google-Extended sperrt, würde aus den KI-Antworten der Google-Suche verschwinden. Das schreibt Google anders. Zu Google-Extended steht in der Dokumentation, es beeinflusse weder die Aufnahme in die Google-Suche noch werde es als Ranking-Signal verwendet.

Für AI Overviews und AI Mode gilt laut Google: Es gibt keine zusätzlichen Anforderungen und keine besonderen Optimierungen. Eine Seite muss indexiert sein und mit einem Snippet in der Google-Suche gezeigt werden dürfen. Du musst dafür keine neuen maschinenlesbaren Dateien, KI-Textdateien oder Auszeichnungen anlegen, und es gibt auch kein spezielles schema.org-Markup, das du ergänzen müsstest. Wer den Zugriff steuern will, nutzt die robots.txt-Regeln für Googlebot.

Das heißt für deine Praxis: Die SEO-Grundlagen entscheiden weiterhin. Wer bei Google nicht indexiert ist oder Snippets mit nosnippet unterbindet, erfüllt diese Voraussetzung nicht. Wie du mit Snippet-Steuerung umgehst, bestimmst du, nicht die KI.

robots.txt ist kein Schloss

Ein Punkt, der gerade im Gesundheitsbereich wichtig ist: Die robots.txt schützt nichts. Google schreibt ausdrücklich, sie sei kein Mechanismus, um eine Seite aus Google herauszuhalten. Dafür gibt es noindex oder einen Passwortschutz. Damit Google ein noindex erkennen kann, darf die Seite nicht per robots.txt gesperrt sein und muss für den Crawler abrufbar bleiben. Und wenn andere Seiten mit beschreibendem Text auf eine gesperrte Seite verlinken, kann Google die URL trotzdem indexieren, ohne die Seite zu besuchen.

WICHTIG

Alles, was nicht öffentlich sein darf, gehört hinter einen Zugriffsschutz, nicht nur in eine Disallow-Zeile. Das gilt für interne Bereiche, Formular-Auswertungen und alles mit Patientenbezug. Die robots.txt ist eine Bitte an höfliche Crawler, keine Zugangskontrolle.

Was ich Praxen raten würde (meine Einschätzung)

Suchbots erlauben: Googlebot, OAI-SearchBot, PerplexityBot und Claude-SearchBot. Wer in den Antworten dieser Dienste vorkommen will, muss gelesen werden dürfen. OpenAI empfiehlt selbst, OAI-SearchBot zu erlauben, um in den Ergebnissen aufzutauchen.
Trainingszugriff ist eine bewusste Abwägung: OpenAI und Anthropic beschreiben Such- und Trainingsbots als getrennte Bots. Google-Extended ist kein reiner Trainingsschalter, er betrifft auch Grounding in Gemini Apps und Vertex AI, nicht aber die Google-Suche. Ob du Inhalte dafür freigibst, hängt von deiner Haltung ab und weniger von SEO.
Nichts blind kopieren: Fertige «KI-Bots sperren»-Listen aus dem Netz sperren oft auch Suchbots. Prüfe jeden Eintrag gegen die Tabelle oben.
Eintrag testen: Nach einer Änderung dauert es laut OpenAI bei den Suchergebnissen ungefähr 24 Stunden, bis deren Systeme angepasst sind. Für andere Anbieter habe ich keine Angabe.

Technisch sieht ein Sperreintrag für einen einzelnen Bot so aus, dass in der robots.txt eine Zeile «User-agent: GPTBot» steht und darunter «Disallow: /». Das gilt dann nur für diesen Bot. Anthropic empfiehlt übrigens ausdrücklich, nicht per IP zu blockieren, weil Bots dann die robots.txt gar nicht lesen können.

Eine mögliche unsichtbare Sperre: Hosting und Bot-Schutz

Manchmal steht in deiner robots.txt alles richtig, und trotzdem kommen Bots nicht durch, weil ein vorgeschalteter Dienst sie abfängt. Cloudflare hat am 1. Juli 2025 angekündigt, den Standard auf «KI-Crawler blockieren, außer sie bezahlen» umzustellen. Die aktuelle Dokumentation unterscheidet Search, Agent und Training: Für neue Domains sollen ab dem 15. September 2026 Bots der Kategorien Training und Agent auf Seiten mit Anzeigen standardmäßig blockiert werden, Search bleibt erlaubt. Bots, die Suche und Training verbinden, werden von Trainingssperren mit erfasst. Wie das bei deinem Konto eingestellt ist, hängt davon ab, wann und wie es angelegt wurde. Ob ein Firewall- oder CDN-Dienst bei dir aktiv ist, steht in den Einstellungen deines Anbieters, nicht in der robots.txt.

Mein Tipp: Frag bei deinem Hosting oder deiner Agentur konkret nach, ob Bot-Schutz oder «AI Crawl Control»-artige Funktionen aktiv sind, und lass dir bestätigen, dass die Suchbots aus der Tabelle durchkommen. Das gilt auch für Plugins, die «Bots» pauschal sperren.

Im ausgelieferten HTML: Der Text muss schon in der Antwort stehen

Eine zweite technische Frage ist, ob deine Inhalte im ausgelieferten HTML stehen oder erst per JavaScript nachgeladen werden. Vercel hat im Dezember 2024 Daten aus dem eigenen Netzwerk ausgewertet und festgehalten, dass damals keiner der großen KI-Crawler (GPTBot, ClaudeBot, PerplexityBot) JavaScript ausführte. Ausgenommen waren AppleBot und Googles Gemini, das laut Vercel die Googlebot-Infrastruktur nutzt: Sie konnten JavaScript rendern. Vercel empfiehlt deshalb, wichtige Inhalte serverseitig zu rendern. Entscheidend ist, dass der Inhalt in der ausgelieferten HTML-Antwort steht, ob durch serverseitiges Rendering oder durch statisch erzeugte Seiten.

TIPP

Das ist eine Momentaufnahme von Dezember 2024 und kann sich geändert haben. Der sichere Weg bleibt derselbe: Wichtige Texte (Leistungen, Adresse, Öffnungszeiten, FAQ) sollten im HTML-Quelltext stehen. Das prüfst du in zwei Minuten: Seite im Browser öffnen, «Seitenquelltext anzeigen» wählen und nach einem Satz aus deinem Text suchen. Findest du ihn als normalen Seiteninhalt, ist das ein gutes Zeichen. Ein vollständiger Beweis ist es nicht: Der Satz könnte auch nur in einem Script-Datenblock stehen, und du prüfst damit nicht, ob ein bestimmter Bot dieselbe Antwort bekommt oder vom Hosting blockiert wird.

Wie ich das bei toelsner.at handhabe

Ehrlich zum Stand: Meine robots.txt erlaubt derzeit allen Crawlern den Zugriff (außer dem API-Pfad) und verweist auf die Sitemap. Ich habe also keine einzelnen KI-Bots gesperrt oder gezielt freigegeben. Bei allen derzeit öffentlichen Artikeln steht der Text als Absatz- und Überschriften-Markup in der ausgelieferten HTML-Antwort (geprüft am 01.11.2026). Zusätzlich gibt es eine llms.txt mit einer Übersicht meiner Seiten. Wichtig dazu: Google schreibt, dass du für seine KI-Funktionen keine solchen Dateien brauchst. Ob andere Dienste sie auswerten, kann ich nicht belegen, deshalb behaupte ich keinen Effekt.

Checkliste für deine Praxis-Website

Öffne deine-domain.at/robots.txt und prüfe, ob dort Suchbots versehentlich gesperrt sind (zum Beispiel durch pauschale Listen).
Frag bei Hosting, CDN oder Sicherheits-Plugin nach, ob Bot-Schutz aktiv ist und welche Bots er sperrt.
Suche im Seitenquelltext nach einem Satz aus deinem Leistungstext (siehe Tipp oben).
Prüfe in der Google Search Console, ob deine wichtigen Seiten indexiert sind. Laut Google muss eine Seite indexiert und mit Snippet in der Suche anzeigbar sein, um in AI Overviews oder AI Mode berücksichtigt zu werden.
Entscheide bewusst, ob Trainingsbots Zugriff haben sollen, und halte die Entscheidung fest.
Halte Patientenbezogenes ganz aus dem öffentlichen Web heraus: Zugriffsschutz statt Disallow.

Häufige Fragen

Muss ich GPTBot sperren, damit ChatGPT meine Inhalte nicht nutzt?

GPTBot ist laut OpenAI der Bot für das Training von KI-Modellen. Sperrst du ihn, erklärst du gegenüber OpenAI, dass deine Inhalte nicht dafür verwendet werden sollen. Für die Anzeige in ChatGPT-Suchantworten ist laut OpenAI ein anderer Bot zuständig, OAI-SearchBot.

Verschwinde ich aus Google, wenn ich Google-Extended sperre?

Nein. Laut Google hat Google-Extended keine Auswirkung auf die Aufnahme in die Google-Suche und ist kein Ranking-Signal.

Garantiert eine saubere robots.txt, dass KI-Dienste meine Praxis nennen?

Nein. Sie erlaubt nur, dass Inhalte gelesen werden können. Ob und wie ein Dienst zitiert, entscheidet er selbst. Das kann seriös niemand garantieren.

Brauche ich eine llms.txt?

Für Googles KI-Funktionen laut Google nicht. Für andere Dienste habe ich keinen Beleg, dass sie die Datei auswerten. Sie ist optional, ein Nutzen ist hier nicht nachgewiesen.

Reicht ein Eintrag in der robots.txt, um eine Seite aus Google zu halten?

Nein. Google schreibt, dass robots.txt dafür nicht gedacht ist. Nutze noindex oder einen Passwortschutz. Damit Google ein noindex erkennen kann, darf die Seite nicht per robots.txt gesperrt sein. Vertrauliche Inhalte brauchen echten Zugriffsschutz.

Du willst wissen, ob deine Praxis-Website für Suchmaschinen und KI-Dienste technisch lesbar ist? Ich schaue mir robots.txt, Indexierung und Aufbau an und sage dir ehrlich, was fehlt. Schreib mir kurz. Die Grundlagen zu KI-Sichtbarkeit findest du auch auf GEO Optimierung Wien, und wie das in den größeren Rahmen passt, steht in Marketing für Ärzte.

Quellenverzeichnis

OpenAI: Overview of OpenAI Crawlers (abgerufen am 01.11.2026). OAI-SearchBot, GPTBot, ChatGPT-User, Hinweis auf ca. 24 Stunden Anpassungszeit.
Perplexity: Perplexity Crawlers (abgerufen am 01.11.2026). PerplexityBot und Perplexity-User.
Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (abgerufen am 01.11.2026). ClaudeBot, Claude-User, Claude-SearchBot, Hinweis zu IP-Blockierung.
Google Search Central: Common crawlers, Abschnitt Google-Extended (abgerufen am 01.11.2026).
Google Search Central: KI-Funktionen und deine Website (abgerufen am 01.11.2026). Keine zusätzlichen Anforderungen, keine besonderen Dateien oder Auszeichnungen, Snippet-Steuerung, robots.txt für Googlebot.
Google Search Central: Block indexing with noindex (abgerufen am 01.11.2026). Eine Seite mit noindex darf nicht per robots.txt gesperrt sein.
Google Search Central: Einführung in robots.txt (abgerufen am 01.11.2026). robots.txt ist kein Mechanismus, eine Seite aus Google herauszuhalten.
Vercel: The rise of the AI crawler (17.12.2024, abgerufen am 01.11.2026). Messung im Vercel-Netzwerk, Momentaufnahme; AppleBot und Gemini rendern JavaScript.
Cloudflare: Block AI bots (abgerufen am 01.11.2026). Kategorien Search, Agent, Training; Standard für neue Domains ab 15.09.2026; Mischzweck-Crawler.
Cloudflare: Content Independence Day (01.07.2025, abgerufen am 01.11.2026). Änderung des Standards auf Blockieren von KI-Crawlern.
Alle Aussagen mit dem Zusatz «meine Einschätzung» sind eigene Überlegungen, keine Zusagen der genannten Anbieter. Bot-Namen und Verhalten können sich ändern.

Brauchst du Unterstützung?

Ich helfe dir gerne bei der Umsetzung, vom Website-Check bis zur fertigen SEO-Strategie.

ERSTGESPRÄCH ANFRAGEN →SEO-PAKETE ANSEHEN