Após analisar o SEO do meu site, notei essas 121 páginas com erros críticos e gostaria de bloqueá-las no robots.txt de meu site a fim de sanar o problema, visto que não são páginas de úteis para o buscador indexar impactando negativamente nas buscas/SEO.
Alguém sabe como editar o robots.txt para que eu possa bloquear apenas essas páginas específicas?
Acho que um bug nos robots.txt gerado automaticamente pela LI e acaba impactando diretamente em nosso SEO.
Esse é o inicio do robots.txt que a LI configura pros lojistas automaticamente:
User-agent: *
Disallow: /conta/*
Disallow: /carrinho/index
Disallow: /carrinho/produto/*
Disallow: /buscar
Disallow: /documentacao
Disallow: /api/produto/calcular_frete
Disallow: /*fq=
Crawl-delay: 10
Quando na verdade algumas linhas aí com asterisco no final da barra do “Disallow” não estão funcionando devido o “*” estar no fim e não no começo do link, fora que também deve ativar um “disallow: /*sort=” para remover os links da função de (preço, mais vendido, etc) da pagina de produtos. Também deve ser removido o “Crawl-delay: 10”, pra funcionar perfeitamente o robots.txt deveria ser assim:
User-agent: *
Disallow: */conta/
Disallow: */carrinho/index
Disallow: */carrinho/produto/
Disallow: /buscar
Disallow: /documentacaow
Disallow: /api/produto/calcular_frete
Disallow: /*fq=
Disallow: /*sort=
Disallow: */conta/favorito/
Não sou nenhum profissional, mas basta testar na ferramenta do google.
Segue imagens mostrando o rastreio de uma pagina que deveria estar bloqueada, mas não está pelo erro da posição do “*”:
Antes de corrigir o robots.txt
Depois de corrigir o robots.txt
Fico no aguardo… já não sei onde mais obter esse suporte.
A Ubersuggest (ferramenta de SEO na qual sou assinante) acabou de me responder com o parecer positivo a mudança que sugeri no robots.txt a fim de solucionar os problemas detectados de paginas que estão afetando o SEO de clientes LI.
Esses são os links com erros que afetam o SEO da minha Loja e a de outras lojas da LI. Eles irão desaparecer após a correção indicada por mim no post anterior, que passará a de fato bloquear as paginas inúteis para os robots do google.
