Yahoo! e MSN Atualizam seus Crawlers
Postado por Anderson Lopes na categoria MSN , Yahoo!
1 de Maio de 2008
Temos novidades em dois dos principais buscadores da web: Yahoo! e MSN. Vamos a elas:
MSN
No mês de fevereiro o MSN anunciou duas novas características para o MSNbot que reduzem o tráfego entre o server de seu site e o MSNbot (compressão HTTP e GET condicional), agora o MSN avisa que pode haver um aumento na quantidade de visitas do MSNbot aos sites nas próximas semanas, já que este deve passar atualizando sua base de dados.
O MSN recomenda que você verifique seu robots.txt para garantir que as páginas de seu site não estejam sendo bloqueadas.
Como deve haver uma atualização total no banco de dados o número de requisições HTTP pelo MSNBot deve aumentar, se este número for muito grande você pode colocar um atraso (delay) entre as requisições usando o seguinte comando no robots.txt
Crawl-delay: 5
O 5 representa 5 segundos de intervalo entre requisições.
Yahoo!
Depois da atualização no Slurp chega a vez dos algoritmos de posicionamento ser modificado. Não se sabe ao certo o que deve mudar mas é bom ficarmos alertas pois é possível que, com mudanças nos algoritmos, os sites mudem de posição.
Até a próxima!
Sobre o Site:
Links
Assine Nosso Feed
Categorias:
Posts Mais Recentes
Posts Mais Visitados
Meta
Maio 3rd, 2008 as 8:54 pm
Olá Anderson, das últimas atualizações dos bot’s a que achei mais estranha foi a do Googlebot de preencher formulários para indexar as páginas.
Pessoalmente acho esquesito e de agora em diante pode aparecer texto nos banco de dados e formulários de contato com informações estranha, enviadas é claro, pelo Googlebot.
Sei lá, esquesito isso, uma vez que formulários é para serem preenchidos por pessoas.
T+