User-agent: *
noindex: /css/
noindex: /cgi-bin/
noindex: /logs/