SEO Técnico
O que é robots.txt?
robots.txt é o arquivo na raiz do site que diz aos crawlers o que NÃO indexar (admin, busca interna, áreas privadas).
O robots.txt não impede acesso (qualquer um lê), só pede pros crawlers respeitarem. Crawlers honestos (Googlebot, Bingbot) obedecem; bots de scraping ignoram.
Erro clássico: bloquear /assets/ ou /api/ e quebrar o render de páginas (Google precisa ler JS/CSS pra entender o site). Bloqueie só rotas administrativas e duplicatas.
Termos relacionados
Perguntas frequentes
robots.txt impede que o conteúdo apareça no Google?
Bloqueia crawl, mas a URL pode aparecer (sem snippet). Pra remover do índice, use noindex via meta ou header.
Onde fica o robots.txt?
Sempre na raiz: example.com/robots.txt. Em Next.js, app/robots.ts gera automaticamente.