Definition: Robots.txt

Was bedeutet: Robots.txt

Eine Datei im Hauptverzeichnis, die Suchmaschinen Anweisungen gibt, welche Bereiche einer Website sie crawlen dürfen und welche nicht.