Ajuda Robot com a linha Crawl-delay: 10

Estou tendo grandes problemas com o Robot com a linha Crawl-delay: 10. Como faço para resolver isso?