Crie arquivos robots.txt para controlar como os crawlers de mecanismos de busca acessam seu site. Configure regras de permitir/bloquear e referências de sitemap. Essencial para SEO.