#------------------------------------------------------------------------ # File Name: robots.txt #------------------------------------------------------------------------ # # Die folgenden Dateien sollen indiziert werden: # - index.php # # Zugriff für alle Crawler erlauben User-agent: * # # Zugriff auf folgende Verzeichnisse sperren Disallow: /cgi_bin/ Disallow: /includes/ Disallow: /images/