# robots.txt im root- Verzeichnis des jeweiligen Serves # user-agent: * --> spricht alle Spider an # disallow: /auszuschließendes Verzeichnis, ausgehend von root/ user-agent: * disallow: /cgi-bin/ disallow: /bilder/ disallow: /buttons/ disallow: /buttons2/ user-agent: EmailCollector disallow: /