Ola bom dia, eu entrei em contato com o suporte da loja integrada, questionando o bloqueio de algumas ferramentas de analise de SEO como por exemplo uma delas que utilizo é a AHREFS para analises de SEO dentro da página. Falei com o Egryson, e ele me sugeriu que entrasse em contato com ogoogle pelo link que ele me passou (google merchant), e o suporte do google me informaram que eles nao fazem esse tipo de bloqueio dentro do robots (eu ja imaginava essa resposta, obvio que o bloqueio e pela plataforma, e me pediram para solicitar junto a plataforma o desbloqueio da ferramenta da ahrefs, estou muito desapontado com a loja integrada, pois é uma ferramenta paga (valor bem salgado)! e estou com meu projeto dentro da ferramenta parada, por causa desse bloqueio que a loja integrada inventou dentro do robots, isso para mim não faz o mínimo sentido bloquear essas ferramentas como semrush, ahrefs ou moz. São ferramentas de grande ajuda para quem trabalha com SEO dentro do site. Infelizmente cada dia que passa fica mais dificil continuar com loja na loja integrada, gosto muito da plataforma, mas são pequenos detalhes que a ferramenta fica a dejesar.
Boa noite @clara consegue me ajudar com essa questao? o suporte da loja integrada nao ajudou em nada, informam que o bloqueio e feito pelo google, o google nao tem acesso para alteracao do robots de nenhum site, o artigo que o google me retornou para esclarecimento:
Corrigir a regra
- Use um validador de robots.txt para descobrir qual é a regra que bloqueia a página e onde está o arquivo.
- Corrija ou remova a regra:
- Se você usa um serviço de hospedagem de site, como Wix, Joomla ou Drupal, não podemos dar orientações exatas sobre como atualizar o arquivo robots.txt porque cada serviço tem um jeito próprio de fazer isso. Pesquise na documentação do provedor de hospedagem sobre como desbloquear sites ou páginas para o Google. Sugerimos que você procure termos como “robots.txt nome_do_provedor” ou “desbloquear página para o Google nome_do_provedor”. Exemplo de pesquisa: robots.txt Wix
- Se for possível modificar o arquivo diretamente, remova a regra ou faça atualizações de acordo com a sintaxe de robots.txt.
Eu pago 119 DOLARES para utilizar a plataforma da ahrefs para trabalhos de SEO e estou perdendo ja tem uma semana desde que a equipe tecnica criou esses bloqueios de todas lojas na loja integrada, tenho 3 lojas que administro aqui e todos os 3 robots estao com os mesmos bloqueios no robots, preciso resolver isso urgentemente.
User-agent: *
Disallow: /conta/*
Disallow: /carrinho/*
Disallow: /buscar
Disallow: /documentacao
Disallow: /api/produto/calcular_frete
Disallow: /fq=
Disallow: /compre_junto/
Disallow: /_events/*
Crawl-delay: 10
User-agent: DirBuster-0.12
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-video
Disallow: /
User-agent: Baiduspider-image
Disallow: /
User-agent: Baiduspider+
Disallow: /
User-agent: TwengaBot-Discover
Disallow: /
User-agent: TwengaBot
Disallow: /
User-agent: TwengaBot-2.0
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: BDCbot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: LinkpadBot
Disallow: /
User-agent: WBSearchBot
Disallow: /
User-agent: AddThis.com robot tech.support@clearspring.com
Disallow: /
User-agent: AddThis.com
Disallow: /
User-agent: Exabot
Disallow: /
User-agent: YandexImages
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: spbot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: EveryoneSocialBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: Seekport Crawler
Disallow: /
User-agent: GeedoBot
Disallow: /
Aparentemente o bloqueio do ahrefs é feito na LI para todos as lojas. Veja que o bot do ahrefs foi bloqueado de rastrear o site no robots.txt:
User-agent: AhrefsBot
Disallow: /
Olá @jjpaulousa , boa tarde.
Estou acompanhando o tópico e solicitei a equipe técnica para me esclarecer esses pontos, assim que eu tiver o retorno deles aqui para te retornar.
Nosso equipe técnica analisou a ferramenta, AhrefsBot, e foi identificado que essa ferramenta é um bot que acessa todas as páginas da loja para coleta de dados. Esse robô faz milhares de acessos simultâneos e causa instabilidade nas lojas, além de lentidão para os clientes, que são usuários reais.
Já foi identificado também que esse bot não acessa apenas uma loja, ele acessa diversas. Por este motivo, precisamos bloqueá-lo, assim como fizemos com outros bots, como: Yandex, Geedo, Baidu…
Ferramentas de análise de SEO, como SEO Tester Online ou Neil Patel funcionam sem problemas, pois, não são bots e não há bloqueio.
Espero ter esclarecido pra você o motivo do bloqueio.
sim exatamente ate o dia 06/12 foi a ultima vez que o bot deles conseguiu rastrear depois disso a plataforma bloqueou, postura lamentavel da loja integrada, o que fiquei indignado foi o suporte via chat mandar eu contactar o google ads para solucionar kkkkkk piada!
Importante seu feedback @jjpaulousa , estou alinhando com o restante da equipe de atendimento essa informação, pedimos desculpas por qualquer mal entendido.