st-agentur.
Kurz erklärt / Steuerungsdatei für Webcrawler und Suchmaschinen-Roboter

Was bedeutet robots.txt?

Von st-agentur. · Begriffswissen kompakt

Die Definition

Die robots.txt enthält Abrufregeln für kooperierende Webcrawler. Sie ist öffentlich und keine Zugriffssicherung.

Ein Beispiel aus der Praxis

Eine Regel schließt einen bestimmten Pfad vom Abruf durch einen angesprochenen Crawler aus.

Darauf kommt es an

Was heißt das für dich?

Verwechsle Crawling-Sperren nicht mit sicherem Ausschluss aus Suchergebnissen. Vertrauliche Daten benötigen Zugangsschutz.

Zurück zum Begriffslexikon

Hier hilft dir das Wissen weiter.

SEO & KI2 Min. Lesezeit

Was gehört in die robots.txt-Datei einer Unternehmenswebsite?

Die robots.txt gibt kooperierenden Crawlern Hinweise, welche Bereiche sie abrufen dürfen. Sie schützt keine vertraulichen Daten und hält URLs nicht zuverlässig aus Suchergebnissen fern. Unbedachte Sperren können wichtige Inhalte unerreichbar machen. Ändere die Datei gezielt und prüfe betroffene Pfade.

Praxisleitfaden
SEO & KI2 Min. Lesezeit

Wozu dient eine XML-Sitemap und wie erstelle ich sie?

Eine XML-Sitemap listet wichtige Seiten für Suchmaschinen. Sie unterstützt das Entdecken von URLs, ersetzt keine interne Verlinkung und garantiert weder Crawling noch Indexierung. Sie kann bei umfangreichen oder regelmäßig erweiterten Websites helfen. Halte Adressen und Änderungsangaben zuverlässig aktuell.

Praxisleitfaden