Yahoo! Atualiza Slurp

Recentemente o Yahoo! vem promovendo mudanças em seus mecanismos de busca, Yahoo! Search Crawlers, o que vem causando algumas mudanças em seu comportamento.

Com tudo agora em vigor, sua implantação está oficialmente iniciada. Está nova versão irá reconhecer todos os user-agent e diretivas do robots.txt, porém ele será identificado como Slurp 3.0 nos seus logs.

Esta implantação está sendo feita de forma gradual, e nas próximas semanas você poderá notar as seguintes alterações:

• Os crawlers do Yahoo! vão rastrear a partir de um conjunto menor de números IP’s, mas continuará sendo a partir do domínio crawl.yahoo.net. Todas as checagens de DNS reverso para identificação dos crawlers continuarão funcionando normalmente. Se você realiza uma analise dos logs de seu site baseado nos IP dos crawlers do Yahoo, você poderá notar uma queda neste rastreamento/cobertura, é recomendado que você passe a usar um DNS reverso baseado na identificação do Yahoo! Slurp caso esteja usando outro método para evitar tal problema. O atual conjunto de Ip’s usados pelos crawlers do Yahoo! sumirá dos seus logs nas próximas semana.
• Os crawlers irão publicar uma nova diretiva user-agent “Yahoo! Slurp/3.0“. As diretivas existentes para o robots.txt “Slurp” ou “Yahoo! Slurp” continuarão funcionando normalmente, porém se você estiver usando uma diretiva específica “Slurp/2.0“, elas não serão reconhecidas pelo novo crawler. Recomenda-se o uso da diretiva de forma curta: user-agent: Slurp.

Estas mudanças serão realizadas nos principais Yahoo! Web Search Crawlers, porém alguns que possuam diretivas específicas como o da China por exemplo não serão afetados.