Conteúdo Duplicado

Hoje vamos falar sobre gerenciamento de conteúdo duplicado dentro do seu próprio site. Este pode ser um desafio para quem possui websites com grande número de páginas internas, mais ainda se o site exige atualizações diárias, dando volume a quantidade de conteúdo, adicionando, alterando e excluindo recursos. Com o tempo os sites podem acumular páginas e duplicar o conteúdo de URLs que atendam ao mesmo conteúdo. Geralmente conteúdo duplicado em um site não é problemático, mas pode dificultar o rastreamento e a indexação destas páginas. Além disso, PageRank e outros dados semelhantes a linkagem interna do site podem se espalhar através das páginas que não são reconhecidas como duplicadas e isso pode fazer que seu site seja prejudicado no que se diz a posicionamento nos resultados de busca.

Dicas para lidar com conteúdo duplicado no seu site:

• Reconhecer o que é conteúdo duplicado:

Reconhecer o conteúdo duplicado no seu site é o mais importante. Uma maneira fácil de fazer isso é ter um trecho do texto de uma de suas páginas e realizar uma pesquisa, limitando os resultados para páginas dentro de seu próprio website usando o operador “site:”. Se você receber vários resultados para o mesmo conteúdo, você pode começar a analisar estas páginas.

• Determinar a URL preferida:

Antes de resolver qualquer problema de conteúdo duplicado, você deve determinar a sua URL preferida e responder a pergunta: Qual URL você prefere usar para esse conteúdo?

• Ser coerente dentro do seu próprio site:

Uma vez que você escolheu a sua URL preferida, certifique-se de usá-la em todos os lugares possíveis dentro do seu website (incluindo o Sitemap).

• Use redirecionamento 301 permanente, sempre que necessário e possível:

Redirecionar URLs duplicadas para a URL preferida usando um código de resposta 301 pode ajudar e muito os usuários e ferramentas de busca localizar a URL de escolha no caso de visitarem as URLs duplicadas. Se seu site tem vários domínios, faça a escolha de um e utilize o redirecionamento 301 nos outros, garantindo que os usuários são levados para a página desejada, não apenas para a página principal. Se você tem nomes de host com e sem “www”, escolha um e use a ferramenta do WebmasterTools para redirecionar corretamente.

• Aplicar o atributo rel = “canonical”:

Quando não é possível fazer um redirecionamento 301, o atributo rel = “canonical” pode ajudar as ferramentas de busca compreenderem melhor o seu site e suas URLs favoritas. Usando este elemento de ligação você padroniza as pesquisas em seu site para outros motores de busca além do Google, como o Ask.com, Yahoo! e Bing.

• Use a ferramenta de manipulação de parâmetros no Google WebmasterTools:

Se todo ou parte do conteúdo duplicado no seu site vem de parâmetros de consulta de URL, essa o Google WebmasterTools pode ajudar a avisar quais parâmetros são importantes e quais deles são irrelevantes para o sua URL. Digamos que você tenha um site de produtos de beleza e um dos itens principais seja um creme. A página do produto pode ser acessada por meio de diferentes URLs, especialmente se você usar IDs de sessão ou outros parâmetros:

example.com.br/produtos/mulheres/creme/morango.htm
example.com.br/produtos/mulheres/creme?cor=vermelha&cruel=não
example.com.br/loja/indice.php?product_id=32&highlight=morango+creme&cat_id=1&sessionid=123&affid=431
example.com.br/creme/coquetel?gclid=X20382

Se as ferramentas de busca souberem que essas páginas tem o mesmo conteúdo, podem indexar somente uma versão para os resultados de pesquisa. No entanto, com a ferramenta do Google estas podem ser ignoradas para reduzir o conteúdo duplicado e tornar o seu site mais rastreável.

Então, por exemplo se você especificar que o parâmetro sessionid deve ser ignorado, o Google considerará example.com.br/creme/morango.htm?sessionid=273749 como o mesmo que example.com.br/creme/morango.htm.

• E sobre robots.txt?

Não recomendamos bloquear o acesso a conteúdo duplicado no seu site com robots.txt ou com outros métodos. Ao bloquear os robôs ao invés de usar o atributo rel = “canonical”, ferramentas de manipulação de parâmetros ou redirecionamentos 301, os motores de buscas podem tratar essas URLs em separado, como páginas simples, e eles não vão saber que são URLs diferentes para o mesmo conteúdo. É melhor que sejam rastreadas, mas que sejam tratadas como duplicadas, utilizando um dos métodos recomendados aqui. Se você permitir que essas URLs sejam rastreadas, o robô vai aprender as regras para a identificação de conteúdo duplicado somente com olhar a URL e evitar novas varreduras desnecessárias.

Quando o conteúdo duplicado faz rastrear muito o seu site, você pode ajustar a taxa de rastreamento no Google Webmaster Tools com o objetivo de rastrear o maior número possível de páginas em seu site a cada visita, sem sobrecarregar a largura de banda do seu servidor.

Esperamos que estes métodos possam ajudá-los a gerenciar o conteúdo duplicado em seu site. Você pode encontrar mais informações sobre o conteúdo duplicado no nosso Site.

Até a Próxima!

Leitores do Brasil SEO,

Hoje estamos trazendo um vídeo muito interessante sobre conteúdo duplicado e múltiplos domínios postado por Greg Grothaus , engenheiro de qualidade das buscas do Google. O vídeo tem duração de quase 15 minutos então dividimos o vídeo em duas partes, pois o youtube não aceitava videos com duração superior a 10 minutos. Recomendo que assistam pois tem muita informação interessante, incluindo o mito da penalidade por conteúdo duplicado.

Questões sobre conteúdo duplicado e Sites Múltiplos – Greg Grothaus – Engenheiro, Qualidade de Busca do Google – 12 de agosto de 2009 – SES (Search Engine Strategies) em San Jose.

Olá a todos.

Em 12 de agosto, eu dei uma palestra no SES (Search Engine Strategies) San Jose sobre questões de conteúdo duplicado e Sites Múltiplos. E para levar estas informações para o maior público possível, estamos repetindo parte dela no Canal do Webmaster do Google.

Então, primeiramente, meu nome é Greg Grothaus, eu sou um engenheiro de softawre que trabalha na Qualidade de Busca do Google. Eu estou aqui há 4 anos. E o que fazemos na Qualidade de Busca é achar a informação correta e posiciona-la corretamente. Eu sou um “Googler” (pessoa que trabalha ou faz uso do Google) aficionado.

E o que nós estamos fazendo aqui é fazendo meu emprego de falar sobre o Google Webmaster. Então podemos explicar melhor coisas de como a Qualidade de Busca do Google funciona. Então estaremos falando de Conteúdo duplicado hoje.

Primeiramente eu gostaria de esclarecer um mito que anda circulando sobre conteúdo duplicado chamado de penalidade sobre conteúdo duplicado. De forma geral, pessoas tem se preocupado em o Google ter uma penalidade para sites que possuem conteúdo duplicado. Pessoalmente, acho que a razão para isso é as pessoas verem esta mensagem quando fazem uma busca:

“Em ordem de mostrar os resultados mais relevantes, nós omitimos algumas respostas muito similares as 20 já mostradas. Se você preferir, você pode repetir a busca com os resultados omitidos.” E elas clicam no link de repetir a busca e veem: “Oh não, meu site foi omitido dos resultados de busca do Google.” E eu penso que as pessoas ficam preocupadas achando que o Google está aplicando uma penalidade em seus sites.

Mas o que está acontecendo é que nós observamos a busca que o usuário está fazendo e queremos retornar diversidade nos resultados que mostramos ao usuário. Então se alguém procura por “coelhos de pelúcia”, nós queremos mostrar, talvez, a página um do wikipedia sobre “coelhos de pelúcia” e não a página dois. A versão de impressão do mesmo artigo. Que é exatamente o mesmo texto. Então o que estamos fazendo para esta busca é omitir o artigo de impressão.

Não é uma penalidade. Na verdade, se você ajusta a busca para “coelhos de pelúcia versão de impressão”, você provavelmente terá o efeito contrário, onde a versão de impressão será mostrada ao invés do artigo inicial da wikipedia sobre coelhos de pelúcia. E então eu pensei que deveria lhes mostrar um pouco sobre informações em nossas diretrizes de conteúdo duplicado. Apenas alguns pedaços.

Você pode achar mais informação procurando no google por “Duplicate Content Guidelines”. Mas essencialmente o que dizemos é: “Nós reconhecemos que a maioria dos conteúdos duplicados não é de origem enganosa.” E então como resultado, nós não estamos tentando penalizá-lo, nós apenas estamos tentando mostrar nos resultados de busca exemplos de páginas que são distintas e possuem informação útil que é diferente dos resultados mostrados acima. E isto depende muito da busca.

Há algumas exceções a isto, que nos chamamos de “spam” na Qualidade de Busca. Essa exceção não é por conteúdo duplicado, mas uma penalidade por spam. Então, alguém que cria um site que é uma cópia exata dos artigos da wikipedia ou alguma outra fonte, sem nenhuma valor adicional, e prepara a página para direcionar o tráfego para e-commerce ou algo assim. Ele está atrapalhando o usuário e o Google.

Como resultado, nós gostamos de retirar este conteúdo ou reduzir seu posicionamento. Isso é o que nós chamamos de tentativa de manipular os posicionamentos e enganar nossos usuários. Assim como spammers usam a tag de negrito numa página, spammers podem usar conteúdo duplicado. Apenas porque as tags de negrito estão lá, não significa que iremos mover ou penalizar alguém pelo uso delas.

Da mesma maneira, nós não iremos penalizar alguém por usar conteúdo duplicado. Estaremos penalizando por spam, e conteúdo duplicado pode estar lá também. Você pode encontrar muito mais informação sobre isso em nossas diretrizes do Google para Webmasters.

Certo, então agora vou falar um pouco mais sobre o que é conteúdo duplicado. Agora que passamos a questão sobre este mito. Aqui eu mostro 8 exemplos de URL que são todas idênticas. As URLs são diferentes, mas o conteúdo é o mesmo. Isto realmente acontece? Sim. Aqui eu mostro 3 versões diferentes do site governamental britânico, a Monarquia Britânica.

Cada versão tem exatamente o mesmo conteúdo, mas URLs levemente diferentes. Então este é um site muito grande. Muitos sites tem este mesmo problema. Então por que isso é um problema, qual a questão aqui? Obviamente não existe uma penalidade relacionada aqui, nós não removeremos o site da monarquia real. O que está acontecendo aqui é que você pode ter alguns efeitos colaterais, porém mais de segunda ordem.

Um exemplo disso é: se você tem links para diferentes versões desta página, você não está acumulando todo esse “link juice” no mesmo lugar. Então vamos dizer que você tem duas páginas iguais em conteúdo mas URLs diferentes. Você tem 10 links para uma e 10 links para outra. Ao invés de ter 20 links para uma página e posiciona-la muito bem, ambos os sites possuem apenas 10 links e desaparecem nos posicionamentos, ou potencialmente dependendo da busca.

Então este é um problema, um segundo problema é que o Google automaticamente vai tentar descobrir que estas páginas são a mesma e irá junta-las nos resultados de busca e mostrar apenas uma URL. Quando fazemos isso, é como nós estarmos tentando pegar a melhor URL para o usuário, mas as vezes pegamos a errada. Você é a melhor pessoa para saber qual URL você gostaria que o usuário visse como um Webmaster.

Então se você nos ajudar a ter certeza que temos apenas um resultado você pode ter certeza que uma URL amigável está em nossos resultados de busca e usuários clicam nelas mais frequentemente. E por último, mas não menos importante. Se existem mais páginas no seu site que temos que capturar e são basicamente a mesma coisa, nós não chegaremos a fundo nas novas coisas que você gostaria que encontrássemos.

Então é sempre bom que o Google Crawler capture o máximo de conteúdo que ele puder, mas se capturamos a mesma coisa sempre, nós provavelmente não veremos tudo que podemos. Então, como você resolve problemas de conteúdo duplicado? A primeira coisa é entender o que nós chamos de “canonical”. E a canonical significa: a versão mais simples do conteúdo que você pode mostrar, sem perder a generalidade.

Então a canonical se refere à URL que você quer mostrar sobre aquele conteúdo. Então se você tem um conteúdo que aparece em duas URLs diferentes, escolha que você gosta. Está será a URL canonical. Agora que você escolheu a que você quer. Existem vários modos de você passar ao Google essa informação. A melhor maneira de se fazer isso, é estruturar seu site para todos os links irem para a versão canonical, então usuários geralmente irão chegar na versão canonical e quando eles linkarem para você eles linkarão para a versão canonical também.

Mas em adição a isso, você pode usar de outros truques chamados redirecionamento 301 ou, esta nova opção, que é nova desde o SES do ano passado, que é a rel=canonical. Nós falaremos disso em um segundo. Para redirecionamentos 301, estes são um cabeçalho http que são mandandos no arquivo ao usuário.

O que ele faz é dizer ao navegador e ao Google: “Esta não é a URL que você quer, a que você quer está em outro lugar.” E o que acontece com os usuários é que eles serão redirecionados para o lugar certo. E o Google irá trata-lo da mesma forma. Então se o usuário chegar ao seu site na URL errada, usar um 301 o levará para o lugar certo. E isto também funciona muito bem para o Google.

Um uso comum disso é mover um site, para um novo domínio, um novo servidor, ou se você quer mudar a estrutura das URLs no seu site. Nós temos muito mais informação sobre isso no Google Webmaster Help Center se você quiser mais informação além do que posso falar aqui esta noite. 301 são ótimos, e nós temos está opção faz muito tempo.

Mas existem ocasiões em que notamos que o 301 não se encaixa tão bem. Um bom exemplo disso é a página do wikipedia que tem algum conteúdo nela, e existe um link no lado esquerdo da página que é para a versão de impressão da mesma página. se você faz um 301 na versão de impressão de volta para o conteúdo original, não há como o usuário fazer uso dessa versão de impressão. Então, essencialmente isto é um sistema quebrado.

O que normalmente ouvimos é uma nova tag rel=canonical, vou explicar isso aqui em um segundo. Aqui temos outro exemplo que é essencialmente, vamos dizer, URLs como um meio de IU (interface de usuário). Vamos dizer que você visite o site “stuff.com” e quer comprar alguns sacos de dormir vermelhos. Você clica em barracas, saco e você compra sacos de dormir vermelhos. Outra pessoa vem e clica em sacos, barracas e compra sacos de dormir vermelhos.

Você está mostrando na URL o “breadcrumbs” (migalhas de pão) que é o caminho do usuário. Dando ao usuário a sensação de onde eles estavam e para onde estão indo e ainda os ajuda a estruturarem na mente como seu site funciona. Então o mesmo conteúdo pode ser encontrado por caminhos diferentes. Está tudo bem. Mas o problema é q se você usar 301 para arrumar isso você perde o valor da URL ser uma IU. Este é um dos maiores problemas que a URL canonical vem solucionar. Então a URL canonical é apenas uma tag html.

Você coloca ela na sua página e diz: “Esta página aqui, eu quero mandar esta canonical para esta outra página aqui.” Então vamos dizer que o usuário ou o Googlebot chega em “vermelho – barracas – sacos”, E você quer que “vermelho – sacos – barracas” seja a canonical. Então você diz ao google sobre essas tags, e coloca a tag na primeira pagina para outra página, e o googlebot irá tratar isso como um redirecionamento 301, enquanto os usuários não perceberão nada.

Isto funciona muito bem para os casos que eu já vi, mas também funciona muito bem se você não tem controle ou talvez a resposta do seu servidor ADP esteja mandando de volta usuários, ou qualquer outro motivo pelo qual você não queira usar 301. Então vamos passar por algumas perguntas e respostas sobre isso.

Como rel=canonical funciona? E quais são as regras para usa-la? A regra é que você pode passar de uma URL para outra URL desde que estejam no mesmo domínio.

Ela funciona através de hosts? hosts diferentes? Então por exemplo, zeta.zappos.com poderia passar para www . zeta. com. Mas não funciona através de domínios. Então zeta.com não poderia passar para google.com por exemplo, com canonical. Você pode usar para protocolos como http vs. https e você pode usar para portas também.

Devo usar 301 ou devo usar rel=canonical? Isto depende totalmente de você, é apenas mais uma ferramenta no seu arsenal, outra opção pra você. E a última pergunta que temos é:

As páginas precisam ser idênticas? O problema é quando chegamos a mesma página duas vezes, nós devemos olhar a data da página, o último update de um blog, ou qualquer outra coisa. Nós devemos notar que elas são um pouco diferente. Nós podemos esperar que elas sejam completamente idênticas. Mas nós esperamos que elas sejam bem semelhantes. Então pequenas diferenças estão OK.

Então vou falar um pouco sobre multíplos domínios rapidamente. É um problema muito comum para webmasters tentar imaginar o que eles querem fazer com multiplos dominios. Isso é muito comum no caso de vários domínios para diferentes países, como a versão em alemão de um site, a versão em francês. Então eu devo ter o .de e o .fr. O Google acha isso ótimo. Nós pensamos que domínios multiplos é totalmente normal. Mas há algumas coisas para se manter em mente.

Eu já vi essa preocupação antes, como o conteúdo dividido entre várias URLs se aplica aqui. Então por exemplo, se você tem uma versão francesa e uma alemã do seu site, os links para estes não se acumulam, eles se aplicam individualmente para cada site. Então você está fazendo uma troca aqui, talvez você queira a reputação acumulada por idioma ou toda em um site pelos países.

E também, o google tende a pegar apenas um dos domínios para uma busca. Pegamos o que achamos melhor. Então se você tem conteúdo em diferentes domínios, do mesmo idioma, digamos a versão australiana vs. a versão inglesa da mesma página, ambas são em inglês e em diferentes domínios. Nós devemos notar isso, e o conteúdo é basicamente o mesmo para a mesma busca, então escolheremos um.

Na maioria das vezes vamos devolver exatamente que você esperava, o “uk” para Inglaterra e o “au” para a Austrália. Mas em alguns casos vamos nos enganar. E há muito que você pode fazer para nos ajudar. Com o Console para Webmaters você pode logar e setar cada dominío para um local específico. Fazendo isso você faz com que não nos enganemos.

Isto provavelmente não é importante, mas eu gosto. Você perde a vantagem IU de abas. Então se você faz uma busca no google que irá lhe devolver o seu site, e existem duas páginas neste site que correspondem a esta busca. Nós iremos mostrar o site primeiro e o segundo resultado logo abaixo com tabulação.

E também mostramos um link “Mostre mais resultados meusite.com”. E tudo isso chama a atenção do usuário para este bloco de informação na página de resultados de busca do Google. Isto lhe trará mais visibilidade e possivelmente lhe trará mais cliques. Então é algo bem útil. Mas se você tem este conteúdo dividido entre vários domínios, você não terá essa vantagem.

Está é outra troca que você deve considerar quando optar por múltiplos domínios. Mas existem muitos casos onde múltiplos domínios são muito úteis, especialmente quando falamos de diferentes idiomas, porque usuários realmente querem ver as coisas em seu próprio local, e você deseja criar essa experiência por país e trabalhar com isso.

Então isto é basicamente tudo o que temos aqui sobre conteúdo duplicado. Uma pequena sessão do SES. E muito obrigado.

Ae pessoal da BrasilSEO, mais uma novidade lançada pelo maiores players do mercado de buscas agora para
ajudar webmasters no combate ao conteúdo duplicado.

Os 3 maiores motores de busca da web (Google, Yahoo e MSN Live Search) uniram-se para criação de um formato que permita ao webmaster especificar publicamente qual a versão preferencial de uma URL. Dessa maneira websites que possuem uma grande quantidade de múltiplas URL´s com conteúdos idênticos ou similares serão melhor controlados. Será possivel dizer ao motor de busca qual é a URL preferêncial (ou canônica) dentre esse conjunto de múltiplas URL´s, garantindo a relevância para o conteúdo apresentado além de controlar qual a melhor URL a ser mostrada nos resultados de busca.

Vamos utilizar como exemplo o site de vendas de Swidish Fish ( doce de goma colorido em forma de peixe ) sugerido no blog oficial do Google Webmasters Central.

Por exemplo, vamos imaginar que a versão preferencial de uma URL desse site fosse essa aqui:

[http://www.example.com/product.php?item=swedish-fish]

Mas tanto os usuários do site quanto o Googlebot pudessem acessar esse conteúdo de diversas outras URL´s. Mesmo que o conteúdo principal dessas URL´s seja o mesmo que aquele apresentado na URL preferencial, estas páginas podem apresentar uma pequena variação deste conteúdo simplesmente pelo fato de serem paginas parametrizadas que referenciam uma determinada categoria ou um parâmetro de ordenação:

[http://www.example.com/product.php?item=swedish-fish&category=gummy-candy]

ou até mesmo apresentarem conteúdos “idênticos” mas para URL´s diferenciadas por section ID´s ou parâmetros de rastreamento (tracking parameters):

[http://www.example.com/product.php?item=swedish-fish&trackingid=1234&sessionid=5678]

Para evitar toda essa confusão agora é possivel utilizar a tag com o atributo rel=”canonical” referenciando a URL preferencial dentre esse conjunto de múltiplas URL´s em seu site quando houver. No nosso exemplo ficaria assim:

[<link rel="canonical" href="http://www.example.com/product.php?item=swedish-fish" >]

A URL acima referencia a versão preferencial do nosso exemplo e deve ser adicionada no cabeçalho de todas outras múltiplas URL´s com conteúdo duplicado e derivadas da versão canonica.

Dessa maneira o Google entenderá que todas essas duplicatas referem-se a URL preferêncial:

[http://www.example.com/product.php?item=swedish-fish]

O mais interessante é q todas os outros atributos relacionados as essas URLs como PageRank também serão transferidos. Outro ponto importantíssimo é que essa tag agiria de forma similiar a um redirecionamento 301 pelos seguintes motivos:

• Os links que seguem para as páginas desse conjunto de múltiplas URL´s seriam consolidados apenas para a URL especificada como canônica.
• Além disso os motores de busca considerarão essa URL como sendo uma dica forte sobre a melhor URL a ser indexada. O termo “dica forte” foi utilizado pelo próprio engenheiro da equipe de indexação do Google.

Bom fica ai uma dica importante para webmasters que controlam sites com problema de conteúdo duplicado gerado por páginas parametrizadas. Mais uma grande ajuda oferecida pelo Google.

O post original foi apresentado no Blog Oficial do Google Webmaster, recomendo sua leitura na íntrega.

Olá caros leitores,
hoje vou falar um pouco sobre Black Hat SEO.

Black Hat SEO são técnicas que visam melhorar o posicionamento de seu site em Search Engines através de métodos enganosos que podem levar seu site a ser banido das search engines. E isso é muito comum, pois muitas pessoas contratam serviços de SEO de empresas que prometem milagres nesta área e acabam com seus sites banidos das máquinas de busca, pois estas empresas se utilizam dessas técnicas sem se preocupar com as consequências que o site de seu cliente irá ter.

Um bom exemplo disso foi o site da BMW, que foi banido pelo fato de ter se utilizado de Black Hat SEO para fazer com que o mesmo fosse para as primeiras posições nos sites de busca rapidamente.

“O site da revista “Forbes” exemplifica a acusação, dizendo que a palavra gebrauchtwagen (carro usado) aparecia 42 vezes em uma página “doorway” criada pela BMW.”
Abaixo segue o link para a notícia da BMW:

http://www1.folha.uol.com.br/folha/informatica/ult124u19612.shtml

Agora, para aqueles que não querem ter seu sites banidos, segue uma pequena lista de técnicas Black Hat SEO a serem evitadas:

• Keyword Stuffing – Enorme repetição de keywords durante o conteudo da pagina.
• Invisible text – Texto colocado com a mesma cor do fundo da página. Visando o aumento de keywords no conteúdo da página sem que o usuário perceba.
• Cloaking page – exibir para as search engines páginas diferentes da que aparecem no navegador. Utiliza o IP do usuário.
• Doorway page – exibir para as search engines páginas diferentes da que aparecem no navegador. Utiliza meta ou javascript ou clicks na página.
• Link Farms – Vários sites com links apontado uns para os outros ou somente uma página apontando para várias outras.
• Over-Submitting – cuidado ao submeter seus sites através de programas, pois muitos envios para o mesmo lugar pode ser considerado como spam.
• Duplicated Content – Conteúdo repetido. As máquinas de busca levam em relevância a unicidade do conteúdo de seu site.
• Misrepresenting Content – Conteúdo diferente da finalidade da página visando enganar o navegador a visitar a página.

Estas são apenas algumas técnicas Black Hat SEO a serem evitadas. E caso você sinta que seu site esteja sendo prejudicado por outro que se utiliza dessas técnicas, segue abaixo os links do Google e do Yahoo! para denúncias de sites que se utilizam disso:

• Google
• Yahoo!

Abraços a todos.