Jump to content


Photo

Googlebot


  • Faça o login para participar
10 replies to this topic

#1 Wilk

Wilk

    Turista

  • Usuários
  • 40 posts
  • Sexo:Masculino

Posted 05/01/2008, 02:12

Primeiramente desculpem-me se esta não for a área mais adequada.

Mas estou com um grave problema com o bot do Google, que ultimamente vem consumindo muita banda no meu fórum. O curioso é que isto acontece somente no fórum mesmo, no restante do site está tudo normal.

Segundo o awstats, em 4 dias os 13.000 visitantes do fórum consumiram 2.81GB, equanto o googlebot consumiu, sozinho, 3.22GB.

Ou seja, o bot consome mais banda do que meus usuários O.o

Nesse ritmo o safado vai consumir 30GB no mês, metade da minha banda total, que é de 60gb. E lembrando, isso só acontece no fórum, no restante do site o consumo dele é normal, não chega nem a 1GB.

Tem alguma coisa muito errada nisso... e pelo visto vou ter que proibir o acesso do bot no fórum... pois caso contrário terei prejuízos.

Alguém sabe como me ajudar?


Obrigado,
Bruno.
Procurando um jogo online simples e leve? Conheça SoldaT

;)

#2 medterra

medterra

    12 Horas

  • Banidos
  • PipPipPip
  • 230 posts
  • Sexo:Masculino
  • Localidade:Minas Gerais

Posted 05/01/2008, 09:52

eae blza?

Seguinte..
pow..seu site é o 1º nas buscas por soldat

e seu fórum é bem movimentado..
se o googlebot te traz mtas visitas...e consome mta banda..
isso é relativamente bom....pq seu site ganha com isso...

ou o bot consome mta banda e n traz nada de visitantes?

#3 deko

deko

    [www.theprodigy.com.br]

  • Administradores
  • 1078 posts
  • Sexo:Masculino
  • Localidade:Mauá - ABC - SP
  • Interesses:$

Posted 05/01/2008, 11:01

Coloque isso no seu MetaTag

<meta name="Revisit-After" content="1 Days">

Determine quanto tempo o GoogleBot vai voltar a visitar suas paginas... (y)

[--Posted Image--]

#4 Wilk

Wilk

    Turista

  • Usuários
  • 40 posts
  • Sexo:Masculino

Posted 05/01/2008, 19:42

eae blza?

Seguinte..
pow..seu site é o 1º nas buscas por soldat

e seu fórum é bem movimentado..
se o googlebot te traz mtas visitas...e consome mta banda..
isso é relativamente bom....pq seu site ganha com isso...

ou o bot consome mta banda e n traz nada de visitantes?

Sim, do google meu fórum recebe 40% do movimento.

Mas meu site vai ficar fora do ar por extourar o limite de tráfego nesse ritmo. Ou seja... não sei qual a vantagem dele consumir muito.

Coloque isso no seu MetaTag

<meta name="Revisit-After" content="1 Days">

Determine quanto tempo o GoogleBot vai voltar a visitar suas paginas...

Desculpa a pergunta leiga: mas vou colocar isso na index do fórum?

Pq o fórum é um "conjunto" de páginas e sistemas. Inclusive no painel de controle há uma seção só para configuração dos bots, mas, infelizmente, nesse seção não existe a opção dele me visitar só depois de 1 dia. Tem como eu fazer algo pelo robots.txt?

Obrigado.
Procurando um jogo online simples e leve? Conheça SoldaT

;)

#5 gaguinho

gaguinho

    Yankes, go Rome!

  • Usuários
  • 1496 posts
  • Sexo:Masculino
  • Localidade:Longe demais

Posted 05/01/2008, 19:54

Pelo Robots.txt só dá pra limitar o acesso a certas seções ou pastas.
Mas teu consumo tá anormal sim. Violento pra 1 bot só.

Se fosse comigo eu limitaria o bot do google pra acessar só a index e os sub-foruns e proibiria os topicos.
Sem senha não vou a LOGAR algum (Gaguinho)

Estratégia e Dominação

#6 '' sem.Ponto

'' sem.Ponto

    Super Veterano

  • Ex-Admins
  • 2098 posts
  • Sexo:Masculino
  • Localidade:Belo Horizonte

Posted 05/01/2008, 22:09

É simples resolver esse problema. Basta alterar a taxa de rastreamento do seu site de Normal para Mais Lenta naquela ferramenta do Google.

"O rastreamento mais lento reduz o tráfego do Googlebot em seu servidor, mas pode dificultar o rastreamento freqüente do site."

Acesse: https://www.google.c...erview?hl=pt-BR

Adicione o seu site e faça a confirmação caso ainda não tenha feito. Dentro do Painel, clique em Ferramentas » Definir uma taxa de rastreamento.

(ok2)
att,
Muller Dias
ex-administrador Fórum WMO

#7 matrix

matrix

    Old Member

  • Usuários
  • 474 posts
  • Sexo:Masculino
  • Localidade:São Carlos

Posted 05/01/2008, 23:23

Coloque isso no seu MetaTag

<meta name="Revisit-After" content="1 Days">

Determine quanto tempo o GoogleBot vai voltar a visitar suas paginas... (y)


Na verdade essa meta-tag não existe. Vou ficar te devendo o link, mas está escrito no FAQ do Google que este meta-tag foi inventado por alguém e que o Bot do Google o ignora totalmente.

Pelo Robots.txt só dá pra limitar o acesso a certas seções ou pastas.
Mas teu consumo tá anormal sim. Violento pra 1 bot só.

Se fosse comigo eu limitaria o bot do google pra acessar só a index e os sub-foruns e proibiria os topicos.


Se o consumo está alto deste jeito, provavelmente ele tem muitas postagens no fórum e o Google fica passando para indexar o conteúdo. Se ele tirar os sub-fóruns ou tópicos ele pode perder visitas vindas do Google, não ?

É simples resolver esse problema. Basta alterar a taxa de rastreamento do seu site de Normal para Mais Lenta naquela ferramenta do Google.

"O rastreamento mais lento reduz o tráfego do Googlebot em seu servidor, mas pode dificultar o rastreamento freqüente do site."

Acesse: https://www.google.c...erview?hl=pt-BR

Adicione o seu site e faça a confirmação caso ainda não tenha feito. Dentro do Painel, clique em Ferramentas » Definir uma taxa de rastreamento.

(ok2)


Achei a idéia mais sensata a se fazer. Se você ainda não é cadastrado no Google, você pode abrir uma conta grátis e fazer o que o s/. falou.

#8 Wilk

Wilk

    Turista

  • Usuários
  • 40 posts
  • Sexo:Masculino

Posted 05/01/2008, 23:46

Pessoal, valeu mesmo pela atenção!

Se o consumo está alto deste jeito, provavelmente ele tem muitas postagens no fórum e o Google fica passando para indexar o conteúdo. Se ele tirar os sub-fóruns ou tópicos ele pode perder visitas vindas do Google, não ?

Pois é, também não quero tirar os tópicos, pq é nos tópicos que fica o "conteúdo" principal do fórum. E afinal, tenho quase 100.000 páginas indexadas, tirando os tópicos isso vai cair brutalmente.

É simples resolver esse problema. Basta alterar a taxa de rastreamento do seu site de Normal para Mais Lenta naquela ferramenta do Google.

"O rastreamento mais lento reduz o tráfego do Googlebot em seu servidor, mas pode dificultar o rastreamento freqüente do site."

Acesse: https://www.google.c...erview?hl=pt-BR

Adicione o seu site e faça a confirmação caso ainda não tenha feito. Dentro do Painel, clique em Ferramentas » Definir uma taxa de rastreamento.

Eu tinha visto essa opção lá outro dia... mas fiquei receioso de ativar isso. Agora vou seguir sua orientação, vamos ver como o BOT se comporta nos próximos dias. Mas ainda fico com uma pulga atrás da orelha: afinal, essa medida só vai remediar o problema =/

Novamente, muito obrigado.

Edição feita por: Wilk, 05/01/2008, 23:49.

Procurando um jogo online simples e leve? Conheça SoldaT

;)

#9 matrix

matrix

    Old Member

  • Usuários
  • 474 posts
  • Sexo:Masculino
  • Localidade:São Carlos

Posted 06/01/2008, 00:05

Eu tinha visto essa opção lá outro dia... mas fiquei receioso de ativar isso. Agora vou seguir sua orientação, vamos ver como o BOT se comporta nos próximos dias. Mas ainda fico com uma pulga atrás da orelha: afinal, essa medida só vai remediar o problema =/

Novamente, muito obrigado.


Uma outra coisa que eu ia comentar e acabei esquecendo sobre os robots.txt
Lembre-se que o Robots bloqueia arquivos, não apenas páginas. Você deve gastar uma boa banda também com imagens. Bloqueie as imagens para os bots, pois o que importa mais são os textos mesmo. Acho que pode diminuir a quantidade de banda usada em uma boa quantidade :D

#10 Wilk

Wilk

    Turista

  • Usuários
  • 40 posts
  • Sexo:Masculino

Posted 06/01/2008, 00:08

Uma outra coisa que eu ia comentar e acabei esquecendo sobre os robots.txt
Lembre-se que o Robots bloqueia arquivos, não apenas páginas. Você deve gastar uma boa banda também com imagens. Bloqueie as imagens para os bots, pois o que importa mais são os textos mesmo. Acho que pode diminuir a quantidade de banda usada em uma boa quantidade

É, eu ia falar das imagens e também esqueci xD

Também pensei em limitar a indexação de imagens, mas acho que não ia dar muito certo, pq no fórum todas as imagens relativamente grandes (banner, botões de navegação, etc) já estão hospedadas em sites tipo imageshack.us, as imagens que eu hospedo não devem chegar nem a 1mb se somar tudo. =/

Edição feita por: Wilk, 06/01/2008, 00:11.

Procurando um jogo online simples e leve? Conheça SoldaT

;)

#11 matrix

matrix

    Old Member

  • Usuários
  • 474 posts
  • Sexo:Masculino
  • Localidade:São Carlos

Posted 06/01/2008, 02:02

Uma outra coisa que eu ia comentar e acabei esquecendo sobre os robots.txt
Lembre-se que o Robots bloqueia arquivos, não apenas páginas. Você deve gastar uma boa banda também com imagens. Bloqueie as imagens para os bots, pois o que importa mais são os textos mesmo. Acho que pode diminuir a quantidade de banda usada em uma boa quantidade

É, eu ia falar das imagens e também esqueci xD

Também pensei em limitar a indexação de imagens, mas acho que não ia dar muito certo, pq no fórum todas as imagens relativamente grandes (banner, botões de navegação, etc) já estão hospedadas em sites tipo imageshack.us, as imagens que eu hospedo não devem chegar nem a 1mb se somar tudo. =/


Se as imagens pequenas do servidor somam 50kb, cada página que o GoogleBot acessa, 50kb de trafego vai embora. Como você tem mais de 100mil páginas indexadas como foi dito, se em um mês o bot resolve re-visitar todas as páginas, você perdeu 5gb no mês só de imagem para o Google.




1 user(s) are reading this topic

0 membro(s), 1 visitante(s) e 0 membros anônimo(s)

IPB Skin By Virteq