Die Robots-Datei findet sich im Stammverzeichnis (root-Verzeichnis) eines Webservers.
Wo kann man eine Robots-Datei im Internet finden?
Die Robots-Datei findet man, wenn man domainname.com/robots.txt in die Adresszeile eingibt.
Man muss dann statt domainname.com die gewünschte Webseitenadresse eingeben.
Robots-Datei machen
Wie kann man eine Robots-Datei machen?
Mit einer Robots-Datei können Sie Suchmaschinen sagen, welche Daten Ihrer Homepage verwertet werden dürfen.
Öffnen Sie einen Text-Editor.
Die Robots-Datei könnte z.B. so aussehen :
-1.- Die Robots-Datei erlaubt Suchmaschinen den Zugriff :
-2.- Die Robots-Datei verbietet Suchmaschinen den Zugriff :
-3.- Die Robots-Datei erlaubt nur Google den Zugriff :
-4.- Die Robots-Datei verbietet den Google-Zugriff auf Bilder :
Speichern Sie die Datei mit der Endung .txt als robots-datei.txt ab.
Laden Sie die robots-datei.txt im ASCII-Mode in das Root-Verzeichnis des Servers hoch.