# robots.txt voor www.intoto.nl

# wget e.d. slurpers niet fijn voor de serverload
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /

# advertentiebots niet fijn
User-agent: Mediapartners-Google*
Disallow: /

# deze slurpt ook bandwidth
User-agent: WebReaper
Disallow: /

# niet alle dirs openzetten
User-agent: *
Disallow: /tool_admin/
Disallow: /tool_userfiles/
Disallow: /extern/
Disallow: /include/
Disallow: /support/

# in seconden
Crawl-delay: 1