38 replies to this topic

[carlosware]

Uso o Wordpress. E também uso um plugin nele que possibilita a criação e atualização automática do sitemap do meu site. Só quando o sitemap eh enviado pro Google aparece o seguinte erro:

Rede inacessível: robots.txt inacessível
Encontramos um erro ao tentar acessar seu Sitemap. Verifique se seu Sitemap segue nossas diretrizes e se pode ser acessado no local que você forneceu e, em seguida, reenvie-o.

Esse erro faz o Google não indexar meu site???
Estou pensando em desistir de usar sitemaps, queria saber antes se ele eh realmente importante. E se eu não usa-lo pode diminuir o número de minhas paginas indexadas no Google.

O plugin era http://www.arnebrach...maps-generator/

Edição feita por: carlosware, 04/11/2007, 13:39.

[Inu]

Cria um arquivo robots.txt, mesmo que vazio, acredito que dá certo aí.

[sk15]

Então o arquivo "robots.txt" não tem essa finalidade (pelo menos não a principal) ...
A função dele é apenar indicar ao BOT qual página pode ser acessada por ele e qual não pode e é proibida ...

Já "SiteMap" diz ao bucador quais são as páginas que existem no seu site, SUGERINDO ao BOT passar nesses arquivos indicado por você ...

Bem esse erro pode se dar por 2 motivos básicos ...
1- O SiteMap está com o XML formatado de forma errada ou seja fora do padrão aceito, da uma olhada no site oficial dos SitesMaps e compare com o seu XML gerado e veja se há erros na formatação:
- http://www.sitemaps.org/pt_BR/

2- O segundo erro talvez seje que seu servidor está com alguma proteção de link (HotLink), dai quando o Google acesse seu site ele retorna erro 404, 403 ou 401 dependendo da situação impedindo a leitura do arquivo ...

[carlosware]

Vlw pelas infos...

Mas queria saber também se é possível usar um sitemap que seja atualzado automaticamente no wp, sem plugins.
Para que sempre que eu postasse um novo post no meu blog, o sitemap avisa-se o Google.

[gaguinho]

Tem um ajuste lá no WP que gerencia Sindications (acho que tá escrito errado ). Daí você escolhe quais serviços vão ser avisados quando tiver nova publicação. Basta escolher o Google, Yahoo e tal...

Comigo funciona bem pacas. Perto de uma hora depois já costumo aparecer na busca com o novo post.

[carlosware]

sk15 ,

Já crei um robots.txt e mesmo assim da o erro...

[sk15]

Então o sitemap não tem tanta influencia no "robots.txt" assim como disse ele só diz o que acessar e o que não ... e indica onde está o local de onde se econtra o arquivo "*.xml" do sitemap.

Por exemplo esse "robots.txt":

User-agent: *
allow: /
Disallow: /imagens/

Como você pode pereceber ele permite o acesso de todos "user-agentes" as partes do site que começa com "/" e os que está dentro da pasta "/imagens/" é proibido assim:

- Permitidos
http://site.com/index.html
http://site.com/avisos.html

- Proibidos
http://site.com/imagens/index.html
http://site.com/imagens/avisos.html

A única referencia que o "robots.txt" faz so "SiteMap" é indicar o arquivo XML como disse assim:

User-agent: *
allow: /
Disallow: /imagens/
Sitemap: http://site.com/sitemap.xml

* Só que tem um problema, apesar de ser indicado pelo site do projetos sites maps tal tag o Google não a reconhece dando erro de sintax ...

Referencias Sobre "robots.txt":
http://pt.wikipedia....wiki/Robots.txt
http://www.robotstxt.org
http://www.sitemaps....l#submit_robots

Só uma coisa você está indicado para o Google/Yahoo entre outros seu sitemap?
Google: http://www.google.com/webmasters
Yahoo: http://submit.search...om/free/request

E você está colocado o arquivo "XML" e o "robots.txt" dentro da raiz de seu site?
http://site.com/robots.txt
http://site.com/sitemap.xml

[carlosware]

Só uma coisa você está indicado para o Google/Yahoo entre outros seu sitemap?
Sim, o plugin gera para vários serviços.

E você está colocado o arquivo "XML" e o "robots.txt" dentro da raiz de seu site?
Sim.



Uma outra dúvida:

Se eu deixar o sitemap com esse erro, o Google não vai mais indexar meu site? Pois meu site esta on faz uma semana e até hora não foi indexado, já fiz parcerias e tdo mais, mas não aparece! Será por causa do sitemap?


update:

Estou usando agora um desses sites que fazem sitemaps online, ok , fiz o sitemap. Só fica ruim! Pois eu tenho um site que é de notícias, todos os dias posto algo novo. No sitemap só vai ter o links velhos, ou seja, os posts mais novos não aparecerão no sitemap. O google/yahoo pega os posts novos do mesmo jeito?

Edição feita por: carlosware, 05/11/2007, 16:48.

['' sem.Ponto]

Um sitemap incorreto não quer dizer que o Google deixará de visitar o seu site. O Googlebot navega por toda a web, e como você fez parcerias com outros sites, não haverá problema algum. Ele entrará em seu site e navegará pelos links normalmente e depois vai indexar as páginas.

O sitemap serviria apenas para informar ao Google as páginas existentes no seu site mais rapidamente.

Movido para a sala mais adequada!

[carlosware]

agora estou com outro problema!
Criei um sitemap com o site http://www.xml-sitemaps.com/ . Já tenho um robots.txt bloqueando um arquivo, mas o Google insiste que na mensagem: "Rede inacessível: robots.txt inacessível "

Ele esta pegando, vejam se conseguem acessar: http://www.entrepixels.com/sitemap.xml e http://www.entrepixels.com/robots.txt

Edição feita por: carlosware, 06/11/2007, 09:50.

['' sem.Ponto]

Esse seu robots.txt está esquisito. Parece que ele não é um arquivo na raiz do site, e sim um diretório com o nome robots.txt.

Ao acessar http://www.entrepixels.com/robots.txt, aparece automaticamente uma barra ("/") no final da url, ficando assim: http://www.entrepixels.com/robots.txt/

É por isso que está dando erro.

Edição feita por: '' sem.Ponto, 06/11/2007, 11:09.

[carlosware]

Eu ein! Como posso resolver esse problema então?
Bom, eu recriei o robots.txt e parece que agora ta certo. Mas o erro com o Google continua T_T

Bom, lá vou eu denovo...

Recriei meu robots
http://www.entrepixels.com/robots.txt

User-agent: *
Disallow: /palmeiras/

Sitemap: http://www.entrepixels.com/sitegeral.xml

e renomei o sitemap para sitegeral.xml:
http://www.entrepixe...m/sitegeral.xml

Mesmo assim o google acusa o robots inacessível, entrei em contato com o Host e eles disseram que não bloqueiam o robots...

Edição feita por: carlosware, 06/11/2007, 12:08.

[sk15]

Acredito que o problema é que vocÊ está informando apenas o que está desabilitado e não informando o que é habilitado ... tente mudar seu arquivo para esse formato:

User-agent: *
Allow: /*
Disallow: /palmeiras/*

Sitemap: http://www.entrepixels.com/sitegeral.xml

Lembrando que o Google passa 1 vez por dia para dar uma analizada no seu arquivo, logo a modificação que fizer talvez só a verá no outro dia.

Para completar tente fazer um mini-bot com PHP pois é a linguagens disponivel em seu serve, e veja se ele acessa com sucesso, tipo assim:

<?php
echo file_get_contents("http://www.entrepixels.com/robots.txt");
?>

[carlosware]

Ok, vou tentar. Amanha posto o resultado! vlw!

Pronto kra, fiz do jeito que vc disse e mesmo assim esta dando erros!
Meu robots como esta:

User-agent: *
Allow: /*
Disallow: /palmeiras/

Sitemap: http://www.entrepixe...m/sitegeral.xml

Já faz quase 2 semanas e google não indexa meu site, acho que é por causa desse problema!

['' sem.Ponto]

Aguarde mais 24 horas, pois o seu robots.txt parece estar certo. O Google baixa ele apenas uma vez por dia.

Quanto ao sitemap, tente alterar a tag urlset. Invés de:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.5">

Coloque:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

Tenho certeza que o problema está aí, pois além do 0.5 não existir, ele não é o formato digamos padrão de um Sitemap. O correto seria usar o 0.9.

Edição feita por: '' sem.Ponto, 07/11/2007, 00:11.