Ele ta deixando o servidor lento, 5000 hits por minuto
Google Bot
Started By sTriKe, 13/03/2007, 16:35
5 replies to this topic
#1
Posted 13/03/2007, 16:35
Alguém sabe se tem um jeito de fazer o google olhar soh X paginas por dia no meu site ? Ou só em determinados horarios?
Ele ta deixando o servidor lento, 5000 hits por minuto
Ele ta deixando o servidor lento, 5000 hits por minuto
Como Instalar - Blog com tutoriais e guias para instalação de softwares, confira!!
#2
Posted 13/03/2007, 16:53
Bem acredito que a única forma mais perto disso que conheco de vc barrar o acesso do "Goggle Bot" e de outros Bots é usando o '"arquivo de informação para bots"', o "robots.txt" que deve ser colocado na Raiz de seu site, nesse arquivo vc define quais paginas e quais Bots podem acessar elas.
Veja esses links ...
http://forum.wmonlin...howtopic=130528 (Um tutorial do Gaginho para criar ele)
http://www.dicas-l.c...-l/20040329.php (Mais informações sobre "robots.txt")
http://www.google.co...c.py?topic=8843 (Ajuda do proprio Google explicando)
http://www.marketing....br/robots-txt/ (Criador de "robots.txt" online)
E em outro caso colocar a Meta-Tag - "Revisit-After", para dizer de quanto em quato tempo o Bot deve acessar o site (mas os Bots sempre a ignora, pois ao contrario de vc a maioria quer que os Bots fiquem o dia todo indexando página então todos mundo coloca 1 dias, sobrecarregando os bots por isso eles ignoram essa tag) ... mas não custa tentar colocar ...
Veja esses links ...
http://forum.wmonlin...howtopic=130528 (Um tutorial do Gaginho para criar ele)
http://www.dicas-l.c...-l/20040329.php (Mais informações sobre "robots.txt")
http://www.google.co...c.py?topic=8843 (Ajuda do proprio Google explicando)
http://www.marketing....br/robots-txt/ (Criador de "robots.txt" online)
E em outro caso colocar a Meta-Tag - "Revisit-After", para dizer de quanto em quato tempo o Bot deve acessar o site (mas os Bots sempre a ignora, pois ao contrario de vc a maioria quer que os Bots fiquem o dia todo indexando página então todos mundo coloca 1 dias, sobrecarregando os bots por isso eles ignoram essa tag) ... mas não custa tentar colocar ...
<meta name="Revisit-After" content="3 Days">
Edição feita por: sk15, 13/03/2007, 16:54.
#3
Posted 13/03/2007, 19:58
hehe, isso eu sei tambem.. a proposito, tive que bloquear TUDO do google para deixar o site funcional, soh que eh xxxxxx deixar assim, pq 48% das minhas visitas vem do google :/
Como Instalar - Blog com tutoriais e guias para instalação de softwares, confira!!
#4
Posted 13/03/2007, 21:44
Siga essas instruções:
Vá no endereço abaixo
https://www.google.c...erview?hl=pt-BR
Entre com seu login do Google.
No local "Adicionar site" digite o endereço do site e dê OK.
Valide o site, ou seja siga as instruções que estão lá para provar que o site é seu. Mas é coisa simples.
Depois disso na aba "Diagnóstico" clique em "Taxa de rastreamento"
Lá selecione: "Lenta"
Que é descrita como: "O rastreamento mais lento reduz o tráfego do Googlebot em seu servidor, mas pode dificultar o rastreamento freqüente do site."
Se fizer isso seu problema estará resolvido!
Qualquer dúvida é só falar...
Vá no endereço abaixo
https://www.google.c...erview?hl=pt-BR
Entre com seu login do Google.
No local "Adicionar site" digite o endereço do site e dê OK.
Valide o site, ou seja siga as instruções que estão lá para provar que o site é seu. Mas é coisa simples.
Depois disso na aba "Diagnóstico" clique em "Taxa de rastreamento"
Lá selecione: "Lenta"
Que é descrita como: "O rastreamento mais lento reduz o tráfego do Googlebot em seu servidor, mas pode dificultar o rastreamento freqüente do site."
Se fizer isso seu problema estará resolvido!
Qualquer dúvida é só falar...
#5
Posted 14/03/2007, 16:30
Valeu!
Isso melhorou bastante!
Isso melhorou bastante!
Como Instalar - Blog com tutoriais e guias para instalação de softwares, confira!!
#6
Posted 23/06/2008, 15:45
Olá pessoal, sou novo aqui no forum e gostaria de saber se alguem pode me ajudar:
Estou desenvolvendo um site de busca em ajax para um cliente, criei o banco de dados e página em PHP para o banco, a gina inicial, mas como faço para criar o spider que irá buscar os sites na internet e cadastrar os links no banco de dados, tipo crawler , googlebot ,?
se alguem puder me ajudar eu agradeço.
Estou desenvolvendo um site de busca em ajax para um cliente, criei o banco de dados e página em PHP para o banco, a gina inicial, mas como faço para criar o spider que irá buscar os sites na internet e cadastrar os links no banco de dados, tipo crawler , googlebot ,?
se alguem puder me ajudar eu agradeço.
1 user(s) are reading this topic
0 membro(s), 1 visitante(s) e 0 membros anônimo(s)










