Google faz Crawler de Formulários

Como comentou um de nossos leitores recentemente, “o Google não pára!”. Depois de varrer conteúdos de arquivos PDF, JavaScript e Flash em busca de conteúdo e links, agora é a vez dos formulários.

Maile Ohye postou, hoje, um artigo no blog do Google, escrito por Jayant Madhavan e Alon Halevy do “Crawling and Indexing Team” que diz terem sido iniciados, oficialmente, testes de algoritmos que obtém URLs a partir de formulários para possíveis indexações de conteúdos que não poderiam ser encontrados de outra forma.

Para montar as URLs, os algoritmos escolhem palavras do próprio conteúdo do site para testar as caixas de texto (input) e escolhem alguns dos valores disponíveis para caixas select, check boxes e radio buttons. Se a página apresentada contiver conteúdo válido, interessante e que ainda não esteja indexado, a indexação será possível.

Para aqueles que ficarem preocupados, a equipe diz que só serão testados formulários com parâmetros passados por GET ( o que é meio óbvio ) e que não estejam relacionados com passwords, logins, contatos, ou quaisquer outros tipos de dados que estejam associados à informações pessoais de usuários. Além disso, é sempre bom lembrar que se pode usar o robots.txt para bloquear os crawlers.

Também segundo a equipe do Google, a indexação de páginas por esse novo crawler não irá atrapalhar as demais páginas do site, seja afetando a freqüência de visitas dos crawlers, o PageRank, ou ranking das mesmas.

Com essa iniciativa, que com toda certeza será seguida pelos concorrentes, o Google conseguirá disponibilizar resultados de uma busca muito mais rica e extensa. A atitude poderia ter vindo mais cedo, mas antes tarde do que nunca!