18 replies to this topic

[rodurma]

o google soh varre algumas paginas, mas o MSNBOT pega TUDO !, ja comeu sozinho 160 mb de transferencia +- !!!

Que isso imagina se visitar seu site 2 ou 3 vezes por semana? Acho que o msn, para tentar indexar mais que o google evita algumas regras básicas do bom senso.

[]`s

Edição feita por: rodurma, 11/02/2005, 11:38.

[brunoalves]

Li a algum tempo atras na própria página do MSN, que o crawler deles estava em beta , e que se ele estivesse varrendo o site muito rapidamente, era só entrar em contato com eles.

Dei uma olhada bem rápida na página e não achei mais a explicação, se alguem tiver paciência de olhar a página deles com mais clama, deve achar essa informação.

Abraços.

[Paulo Freitas]

Olá!

Se não me engano, a página que o brunoalves está dizendo é esta... e o e-mail é msnbot@microsoft.com...

Flw's, T+V! Até mais

[Tiago Madeira]

Hehehe... Mesmo com minha página com pagerank 0, ele acabou de indexar as páginas internas! (finalmente)

Então devia ser por causa do esquema de demorar pra indexar pra não roubar muito tráfego dos usuários... Aprendi mais uma!

Edição feita por: Tiago Madeira, 11/02/2005, 22:58.