Ferramentas de SEO

Disclaimers:

• Observei uma pequena discrepância nos números de visitas entre o Webmaster Tools e o Analytics;
• Para funcionar é fundamental se pesquisar utilizando sempre o mesmo período de tempo;
• Escolhi apenas 10 palavras-chave para exemplificar o processo;
• Não posso divulgar as palavras-chave para proteger os interesses deste cliente em particular;
• Desculpas pelo excesso de termos em Inglês, cheguei a uma semana e prometo melhorar.

Recentemente vimos ótimas atualizações feitas pela Google ao Webmaster Tools e gostaria de descrever abaixo uma forma em que eu utilizo estas novas informações a fim de optimizar ainda mais a seleção de palavras-chave, e mostrar como nem sempre a palavra-chave mais clicada é necessariamente a mais lucrativa.

Tenho que apresentar resultados, e apesar da quantidade de cliques ter importância, o tal to ROI sempre fala mais alto.

Na ilustração abaixo, vemos parte da nova interface, onde é possível ver dados por query (termo utilizado na busca), quantas impressões o termo teve em determinado período de tempo e quantas vezes cada termo foi clicado.  Isto é, sem duvida nenhuma, uma grande melhora na qualidade das informações fornecidas.

Uma das minhas maiores frustrações é que o webmaster tools não conecta diretamente com o Analytics e/ou AdWords da mesma forma com que estes 2 (Analytics e AdWords) se conectam. Logo, temos um pouquinho de trabalho braçal no Excel pela frente se quisermos conectar os dados oferecidos pelos 3 serviços.

No Webmaster Tools posso organizar a lista por: Impressões, Cliques e CTR% (Clickthrough Rate) e em cada caso a minha lista muda um pouco afinal nem sempre o termo que aparece mais e o mais clicado. Abaixo, 10 termos (palavras-chave) por ordem de:

Cliques

Impressões

CTR% (% de quantos cliques dentro do universo total de impressões)

Note, por exemplo, que a palavra chave mais clicada não tem necessariamente o melhor CTR, e a com mais impressões também não e necessariamente a mais clicada.

Tudo isso é ótimo, porem eu quero (e preciso de mais), então vou conectar “na marra” os dados do Webmaster Tools com o Analytics e AdWords e descobrir qual de fato é a mais importante.

Tenho muito mais interesse em saber que palavras-chave me trazem melhor retorno financeiro do que simplesmente cliques. Da mesma forma com que nem sempre a mais vista é a mais clicada, nem sempre a mais clicada vende mais…

Através de gols, E-commerce e conversões temos a oportunidade de ver que palavras-chave são as mais rentáveis No Analytics com os “Custom Reports” (Relatórios Personalisados) posso ver:

Que termos orgânicos provenientes do Google geraram mais goals..

… e também que termos geraram vendas e quanto dinheiro foi obtido através destas vendas…

é possível se associar um valor financeiro para cada gol e, através da implementação de e-commerce tracking, passar o valor exato de cada venda no momento da conversão.

No analytics podemos também:

1- Selecionar o mesmo período de tempo utilizado nos reports do Webmaster Tools;

2- Navegar para –> Traffic Sources > Search Engines > Google > non-paid

3- Clicar nas tabs de Goals e de E-commerce

Agora é possível pegar os dados das mesmas top 10 palavras-chave utilizada nos reports to Webmaster Tools…

Somo à minha lista no Excel dados dos termos que trouxeram mais gols e dinheiro em que as visitas vieram do Google (não PPC).

Isso, junto com os novos dados fornecidos pelo Webmaster Tools, me permite associar as informações e somar novas colunas a minha planilha:

Veja só que interessante, o termo mais lucrativo, não foi o mais clicado, nem o com mais impressões ou CTR… Foi a humilde “Keyword 06″ que teve apenas 140 cliques (de acordo com o webmaster tools) ou 188 cliques (de acordo com o Analytics) e gerou U$ 770.00 dólares

Esta palavra-chave me trouxe entre quatro e cinco dólares e meio por clique! Se eu estiver pagando menos do que isso no PPC maravilha, se for trafego orgânico então fantástico!

Espero que tenham gostado.

Koki

Nascido em Nova Iorque, EUA, formado em Comunicação Social (Jornalismo) pela PUC-Rio. Trabalha com produção web nos EUA desde que se formou em 1997. Designer, programador e profissional de marketing já trabalhou em projetos com a Microsoft, AOL, SEBRAE-SP e Starwood Hotels. Sempre curioso e atualizado, faz questão de entender todas as etapas no processo de criação de um website. Atualmente trabalha em Miami como SEM e Head Affiliate Manager na FlexOffers.com – uma rede de affiliate marketing.

Olá leitores do BrasilSEO, recentemente tivemos boas notícias oferecidas em detalhe por Jonathan Simon, Analista de Tendências Webmaster no Blog do Google. Estas se referem às novas funcionalidades nas consultas de pesquisa padrão do Google Webmaster Tools que agora está muito mais completa em informações para cada consulta realizada.

Além do novo nome, “Consultas de Pesquisa” podemos notar que foram adicionadas novas e ótimas atualizações que nos deixará mais tempo vidrados nas páginas de consultas do Google Webmaster Tools. Confira estas mudanças.

Antes as informações fornecidas eram apenas sobre a posição média que as páginas do site ocupavam para uma consulta concreta nos resultados de busca.  Agora podemos clicar em uma pesquisa específica e encontrar o relatório de buscas frequentes com informações detalhadas sobre o número de impressões e cliques de cada uma das posições que ocupam as páginas do seu site nos resultados de busca associados a essa consulta. Na página visualizada podemos encontrar os seguintes campos:

Impressões: número de vezes que as páginas do seu site apareceu  nos resultados de pesquisa da consulta realizada.

Cliques: número de vezes que os usuários acessaram a uma página em seu site, selecionando os resultados da busca que esta consulta forneceu.

Posição Média: fornece de maneira rápida a informação sobre o posicionamento médio que o site está sendo exibido nos resultados da pesquisa para consultas específicas.

Além dos números de cliques e impressões, também aparece uma lista de páginas do site que é acessado a partir dos resultados de pesquisa dessa consulta.

Podemos observar claramente que o Google aumentou a quantidade de dados oferecidos e também complementou ao colocar em prática algumas medidas para fornecer informações mais detalhadas das páginas trabalhadas, facilitando bastante a metodologia para análise de posicionamento e Otimização de Sites.

E entre outras mudanças, observamos que aumentaram consideravelmente o número de consultas exibidas. Antes, a página de pesquisa só fornecia dados para as 100 consultas principais. Agora, se o seu site inclui mais de 100 consultas, novos botões aparecem na parte inferior da tabela de pesquisa mais frequentes que permitem visualizar um maior número de consultas retornadas pelo site nos resultados de busca.

Antes, se você procurava obter uma análise dos dados das pesquisas mais frequentes, você  podia baixar as informações do seu site e criar seus próprios gráficos por meio de ferramentas que dispunha. Para poupar tempo e esforço, agora, o gráfico é criado e exibido na própria página.

O gráfico sobre as pesquisas mais comuns incluem um selecionador de intervalo de datas semelhante ao oferecido na página do Google Analytics e se você quiser ver as primeiras pesquisas em seu site de uma semana específica, você pode pesquisar somente os dados para esse período de tempo.

E numa visão globalizada, o google também pensou nos sites que possuem um grande número de palavras-chaves que mudam com freqüência, para estes foi adicionado um recurso que permite pesquisar entre as buscas mais freqüentes do site e filtrar os dados exatos que estamos procurando dentro do conjunto de consultas. Quando os números de “Resultados”  não são visíveis quando você seleciona um país específico do menu drop-down “Todos os países ”, o número em negrito é a contagem total dos dados mostrados na tabela de consultas de pesquisa.

Com esses dados você  pode baixar uma tabela com a posição média para estas consultas.

Finalmente, uma outra funcionalidade para consultas de pesquisa foi o guia com estrela que deixou até mais ‘bonitinha” a visualização gráfica. Ao lado de cada consulta na página de consultas de pesquisa, existe agora um ícone de estrela clicável. Você pode clicar no ícone da estrela para todos os procedimentos que são de maior interesse para você. Todas as consultas que você seleciona com a estrela serão salvas no seu guia de favoritos fornecendo uma maneira super fácil de visualizar apenas as consultas que você mais gosta de analisar. Simples e prático, não é mesmo?

Com certeza devemos agradecer por essas mudanças, porque certamente nos axiliará na análise do site e compreender melhor o posicionamento do site nos resultados de buscas e o próprio rendimento deste visando melhoras constantes. Espero que todos aproveitem essas novas funcionalidades da melhor maneira possível, e obtenham ótimos resultados.

Até a Próxima!

O que eu mais gosto do trabalho como especialista em SEO é poder medir e visualizar os resultados. O trabalho de link building às vezes é cansativo e fica fácil perder o ânimo quando não se vê a recompensa. Em abril eu completei quatro meses na Englishtown e a mudança do tráfego gerado por busca natural e a variação da visibilidade do site, colocados em gráfico, mostram a diferença que o trabalho de SEO faz.

Para medir a visibilidade, utilizamos o software Advanced Web Rankings. O tráfego de resultados orgânicos medimos com a ajuda do Omniture. O software Advanced Link Manager nos mostra o número de links gerados. Apesar de não utilizarmos aqui na empresa, o Google Analytics é excelente e as Ferramentas para Webmaster do Google melhorou muito com as alterações anunciadas recentemente.

Toda semana eu meço a visibilidade do site e do tráfego vindo de busca natural. Coloco essas informações e o número de links em um arquivo de Excel e assim consigo gerar gráficos como esse abaixo.

NS, ou Natural Search, é o tráfego gerado por resultados orgânicos. Visibility é a visibilidade que o site tem nos três principais sites de busca para as palavras-chave determinadas. Antes de fazer o trabalho de SEO, a visibilidade do site estava em 39% e os resultados naturais geravam cerca de quatro mil visitas por mês. Hoje a visibilidade atinge 58% e o número de visitas mensais gratuitas ao site passa de seis mil.

O número de links acumulados pode ser colocado no mesmo gráfico, ou em gráfico separado. O importante é conseguir mostrar que a relação é diretamente proporcional: quanto mais links de qualidade, maior a visibilidade do site e o número de visitas não pagas.

Aqui ainda medimos quantos sites são contatados por semana e o “success rate” é a relação de número de links por sites contatados. A tendência é que com o tempo e experiência, o profissional não precise contatar tantos sites para conseguir um link.

Apesar de trabalharmos com mais de cem palavras-chave, aquelas realmente importantes são menos de dez. Antes de começar o trabalho de SEO, verifique o posicionamento das palavras-chave primárias no Google, Yahoo e Bing. Assim, fica mais fácil mostrar a variação delas com o tempo.

Também podemos apresentar gráficos mostrando o tráfego gerado por pesquisas pela marca. Se a empresa não estiver fazendo campanhas offline, o aumento da procura pelo nome da empresa pode ser atribuído ao trabalho de SEO. Afinal, quanto maior a visibilidade do site, mais conhecida a empresa.

Quando apresentar gráficos sobre tráfego, deve-se levar em conta a sazonalidade. É normal que em dezembro a procura por cursos de inglês caia muito e em janeiro volte a crescer. Lembre-se desses fatores se tiver que justificar grandes quedas de tráfego e, se achar importante, compare os números desse ano com os dos anos anteriores.

Se você estiver criando campanhas no site ou for responsável pela criação do conteúdo, acompanhe também as taxas de conversão e as de rejeição. Se as taxas de rejeição forem altas e a conversão não estiver acompanhando o crescimento do tráfego, verifique as palavras-chave, a usabilidade do site e faça os ajustes necessários.

Mantenha tudo arquivado, inclusive o endereço de todos os sites com os links que conseguiu gerar. Recentemente eu fui questionada por que uma das páginas internas não estava melhorando de ranking. “Tem certeza que você esta fazendo link building para páginas internas?”, perguntou-me um dos gerentes. Eu tinha arquivado todos os sites com links para páginas internas e foi fácil mostrar meu trabalho. Ele estava certo em questionar, logo a página ganhou ranking e gerou resultado duplo para uma das nossas principais palavras-chave, como mostrado abaixo:

Dizem que o pessoal de vendas da empresa traz o dinheiro e o de marketing gasta. Prove ao CEO da sua empresa ou ao seu cliente que o seu trabalho gera lucro. Crie relatórios semanais, mensais, quadrimestrais, anuais e mostre, sempre que tiver oportunidade, a diferença que o trabalho de SEO faz.

Paula Albocino trabalha como especialista em SEO para os cursos de inglês Englishtown. Assina o blog http://palbocino.wordpress.com Twitter:@palbocino

A equipe do SEOmoz, acabou de lançar uma search engine chamada WebFluence.

A search engine possui um sistema de rankeamento aleatório batizado de RandRank ® ( uma analogia ao PageRank do Google, Rand Fishkin, fundador do SEOmoz e à função randomize ).

Além disso possui 2 características bastante peculiares: qualquer usuário pode Adicionar e Remover sites das página de resultados.

Tem gente dizendo que é uma pegadinha de 1º de Abril, um membro da equipe por outro lado diz que o GMail também foi lançado em 1º abril e é um serviço autêntico. O que você acha!? Eu achei divertido…

No mês de março, fiz um post abordando como utilizar o Google Webmaster Tools e como isso poderia ajudar na otimização de seu site.

Essa ferramenta do google para webmasters tem diversas ferramentas internas. Hoje vou falar sobre duas delas:

Definir país de destino:

Se você tem um site com domínio .com ou hospedado em um servidor fora do Brasil, talvez seu site não apareça na busca por páginas do Brasil do Google.

Uma solução para esse problema é usar essa ferramenta para avisar ao Google que seu site é brasileiro. Vamos aos passos:

• Na aba ferramentas acesse a opção “Definir pais de destino”
• Marque a opção Associar um local geográfico ao site e selecione o país (no nosso caso Brasil).

Definir uma taxa de rastreamento:

Se seu site não é atualizado com muita freqüência, você pode avisar ao Google sobre isso para que ele demore mais a visitar seu site, diminuindo o tráfego do googlebot.

Para definir uma taxa de rastreamento menor, basta marcar a opção “mais lento” no fim da página

Essa ferramenta também é interessante pois mostra um gráfico com a quantidade de páginas visitadas pelo Googlebot, a quantidade de kilobytes baixados e o tempo de download das páginas diarios.

Por hoje é só, Até a próxima!

Olá leitores, hoje vou dar algumas dicas para facilitar o desenvolvimento de sites.

A ferramenta mais importante para desenvolvedores é o Firefox, ao instalarmos o Firefox não percebemos tantas diferenças entre ele e o iexplorer (principalmente depois que o ie7 copiou a navegação por abas do firefox) entretanto, a grande quantidades de plugins disponíveis tornam o Firefox o melhor navegador web.

Os plugins trazem diversas funções ao Firefox sem deixá-lo pesado demais, pois somente os que mais se adequar ao seu uso serão instalados.

Para desenvolvimento de sites existem diversos plugins, vou listar alguns que facilitam muito escrever o código de um site.

Web Developer

Adiciona diversas ferramentas que auxiliam o desenvolvedor, entre elas: uma régua, uma lente de aumento, opções para limpar os cookies de um site, desativar o CSS, informações de links e imagens, redimensionamento de tela…

FireBug

Excelente ferramenta que, entre outras coisas, permite alterar o código-fonte de uma página enquanto está visualizando-a, muito útil para corrigir pequenos erros de CSS, mostra todas características de CSS herdadas pelo item da página, opção de ver o tempo de carregamento de cada item da página, debug para javascripts…

Html Validator

Todo bom desenvolvedor web deve se preocupar com os padrões w3c, e esta ferramenta valida uma página em tempo real, sem precisar ficar entrando no site do w3c e esperar pelos resultados, e além dos erros exibe a também documentação do erro.

IE Tab

Como discutido no artigo 5 Coisas que Todo Webdesigner Deve Saber, sempre é bom testar um site em diversos navegadores, e este plugin auxilia essa tarefa, com um simples clique a página é renderizada com o iexplorer, dentro de uma aba no firefox.

ColorZilla

Exibe qual cor está sendo exibida em qualquer pixel do site, muito útil para descobrir tons de background, fontes…

Search Status

Exibe uma barra de status que exibe o Pagerank e o Rank Alexa Rank de uma página, possui também diversas opções que auxiliam no SEO, como relatório de links, exibir as meta-tags, ver o robots.txt, entre outras…

Existem muitos outros plugins, sempre é bom entrar no site do firefox e ver os novos plugins, com certeza encontrará um que seja útil para você.

Qualquer dúvida ou sugestão comentem.

O google lançou no fim de fevereiro o iGoogle Gadgets para webmaster tools, que trazem todas as informações do Google Webmaster Tools em uma única janela, ajudando na otimização de sites, agora o google fez uma atualização nessa ferramenta deixando-a melhor.

As melhorias são pequenas, mas muito úteis para aqueles que possuem mais de um site cadastrado.

Vamos às mudanças:

• Quando você adiciona a aba de gadgets, elas vão mostrar o site que você estava vendo quando às adicionou ao iGoogle.
• As gadgets trabalham em grupo, se você mudar o site de qualquer gadget, assim que você atualizar a página todas elas mostraram dados daquele site.
• Para quem usa o Webmaster Tools em ingles, o google diminuiu o nome da aba para “Webmaster Tools”, diminuindo o espaço utilizado.
• Apesar de que várias pessoas disseram ao google que prefiam a divisão em 3 colunas, ainda não foi dessa vez que mudou, o google acredita que as gadgets ficam melhor posicionadas em 3 colunas mesmo e, por isso, as manteve assim.

Para inserir as gadgets à sua página iGoogle, após entrar no Webmaster Tools:

• Selecione um site (lembrando que com a mudança esse será o site “inicial”)
• Clique na aba ferramentas
• Clique em gadgets
• Clique em “Adicione uma página inicial das Ferramentas do iGoogle para Webmasters”
• Selecione as gadgets para a página e clique em “Adicionar ao Google”

você pode ver mais sobre o assunto no nosso post sobre iGoogle Gadgets ou no blog do Google (ingles).

Neste post vou mostrar como cadastrar seu site no MSN Webmaster Tools, que é a ferramenta para webmasters do MSN. Lembrando que otimização de sites não é só para o Google, é sempre bom se preparar para todas as ferramentas de busca.

Você precisa ter uma Windows Live account (conta do MSN).

1. Entre no MSN Webmaster Tools
2. Após logado você terá uma tela como essa:

1. Preencha os campos do formulário:
   • Web address: Endereço do site
   • Sitemap address: Endereço do sitemap do site (se houver)
   • Metódo de verificação:
     • Look for an XML file I’ll add to the website: adicionar um arquivo XML ao site
     • Look for a META tag I’ll add to the home page file: adicionar uma META tag à homepage
   • Sign me up for the way cool and at most monthly newsletter for webmasters: receber o boletim mensal para webmasters
2. Fazer a validação pelo método especificado:
   • Arquivo XML: Adicione a pasta inicial de seu site um arquivo chamado LiveSearchSiteAuth.xml com o conteúdo mostrado na página do MSN Webmaster Tools
   • META Tag: adicionar a META Tag especificada dentro da tag HEAD da sua homepage.

Pronto, após este passo você poderá ver como o MSN vê o seu site, em um próximo post vou explicar as funcinalidades dessa ferramenta, até mais!

Olá caros leitores do Brasil SEO, em continuação ao artigo anterior “WordPress: Um Gerenciador à Favor da Otimização do seu Blog ” vou apresentar uma lista dos melhores plugins para WordPress quando o assunto é otimização de websites (SEO) e marketing para sites de busca (SEM).

Configurar plugins no WordPress é extremamente fácil: uma vez que o seu plugin esteja localizado na pasta /wp-content/plugins/ no servidor, basta ir na aba Plugins da navegação principal e ativá-los, clicando no botão “Activate” à direita da descrição do plugin.

Aqui vai uma lista desses plugins, acompanhada de uma pequena descrição de como esses funcionam:

• Askimet – este plugin verifica quais comentários dos seu posts deverão se classificados como spam.
• Another Wordpress Meta Plugin – permite que se insira meta-tags Keywords e Description dentro dos seus posts, páginas internas e no index do seu blog. Isso é muito útil para fins de SEO, pois é importante fazer com que as meta tags sejam diferentes para cada página interna, afim de evitar conteúdo duplicado e keyword cannibalization.
• Dagon Sitemap Generator – gera um sitemap customizado que contém todos os posts e páginas do seu blog. Esse sitemap pode ser gerado em uma página do seu blog adicionando o código em html <!– ddsitemapgen –>
• Digg this – permite adicionar um “digg button”, ou seja uma imagem com um link para o site de social bookmarking http://digg.com.
• Extended Live Archives – este plugin implementa um arquivo de posts dinâmico.
• Fuzzy Recent Posts – um dos mais importantes plugins, este permite listar os posts em ordem de data de postagem do mais novo para o mais velho. É possível usar esse plugin no sidebar do WordPress adicionando-se o código em PHP: <?php the_recent_posts(); ?>.
• Google Sitemaps – este plugin é nada mais que um gerador de sitemaps, que criará um sitemap XML do seu blog para Google.
• If You Liked That… – lista os posts relacionados (que pertencem à mesma categoria) em formas de links, que podem ser inseridos em qualquer parte do seu post: antes, depois ou inseridos em qualquer ponto do seu conteúdo.
• Optimal Title – permite criar títulos otimizados para os seus posts. Bastando substituir a função wp_title() por optimal_title(), este plugin permite que o nome do seu blog apareça depois do título do seu post. A sua utilização é feita usando um código em PHP entre as tags <title> </title> como no exemplo logo abaixo: <title> <? optimal_title(‘«’); ?> <?php bloginfo(‘name’); ?> <?php if (!optimal_title(”, FALSE)) echo ‘ » Your tagline’ ; ?> </title>Então se o meu título padrão no caso do blog: www.exemplomeublog.com.br for : “Exemplo Meu Blog >> Título do Post” o Optimal Title permite que eu define algo como “Título do Post – Exemplo Meu Blog”.
• SEO Title Tag – na essência tanto este plugin, como o optimal title, manipulam os títulos das páginas do seu blog. A diferença é que o SEO Title Tag permite a personalização do título que você deseja, podendo configurá-lo na aba ‘Options’ do WordPress. Um exemplo simples de sua utilização seria ao incluir o código: <title> < ?php if (function_exists(’seo_title_tag’)) { seo_title_tag(); } else { bloginfo(‘name’); wp_title();} ?> </title>O seu título ficaria, ao invés de: “Exemplo Meu Blog >> Título do Post” somente como “Título do Post”. Isso favorece muito o seu blog em termos de otimização.
• Sociable – como o próprio nome já diz: sociable (em português “sociável”), esse plugin dispõe links para sites de Social Bookmarking no rodapé do seu post. Quais sites de Social Bookmarking escolher e quantos deles escolher, você pode determinar configurando suas opções na aba ‘Options’ do WordPress.

  

  Esse plugin é essencial em qualquer site de notícias que queira espalhar suas informações.

• Top 10 posts, Views per post – sua funcionalidade é similar ao Fuzzy Posts e ao If You Liked That… – linkar para outros posts, e como seu próprio nome já é auto-explicativo fica claro que ele linka para os “Top 10″ posts, ou seja, os 10 posts mais visitados do seu site.
• WP-PageNavi – o mais básico, e não menos importante, dos plugins. Sua utilidade não está muito relacionada com a otimização do seu blog, e sim com a usabilidade (como Usuabilidade e SEO andam de mão juntas…) pois seu objetivo não é nada mais que auxiliar a navegação do seu site.

Ufa! Pessoal o post foi longo mas espero que tenha sido útil pra vocês. Lembrando existem diferentes versões desses plugins tanto para o WordPress 2.0 quanto para o 2.3 (para o 2.5 com certeza também), e que sempre estão lançando novidades que podem ser também muito úteis. Comentem, discutam e também sugiram outras dicas para poder tiramos o melhor proveito dessa ferramenta.

Abraços a todos.

Olá leitores do BrasilSEO.com.br, ontem (27/03/2008) no Webmasters Central Blog foi postado um artigo sobre um gerador de arquivos robots.txt.

Bom todos nós sabemos que o Googlebot sempre passa pelo sites rastreando o que permitimos ou não. Através do robots.txt podemos explicar o que queremos que o Googlebot leia de nosso conteúdo. Pensando nos menos experientes na língua dos robots.txt o google lançou uma ferramenta para gerar este arquivo.

Esta é a razão pela qual estamos aqui para apresentar-lhe o: Robots.txt Generator em Webmaster Tools. Ele foi feito para lhe proporcionar uma maneira fácil e interativa de construir um arquivo robots.txt. Isto pode ser tão simples como inserir os arquivos e diretórios que você não deseja que sejam rastreados por quaisquer robôs.

Bom então agora vamos as explicações, para que você gere o seu arquivo robots.txt você deverá passar por 3 passos:

• Passo 1 – Escolha do padrão de acesso do robot
  • Permitir todos os robôs (recomendado – escolhendo esta opção você ira ajustar o que você quer bloquear no próximo passo)
  • Bloquear todos os robôs
• Passo 2 – Especificação das regras adicionais
  • Ação – existem duas opções: Permitir ou Bloquear
  • Robô – aqui será feita a escolha de por qual robô você deseja ser rastreado
  • Arquivos ou diretórios – você deverá informar qual(is) o(s) arquivo(s) ou diretório(s) você deseja permitir caso tenha escolhido está opção ou bloquear.

Obs - Só um detalhe importante você deverá escolher uma ação, um robô e os arquivos ou diretórios que você deseja e mandar adicionar, observe que este estará desabilitado até que você preencha todos os campos. Ao adicionar ele apresentar um botão Adicionar regra, clique nele para adicionar novas regras, você ainda pode editar a regra criada ou excluí-la.

• Passo 3 – Salvar o arquivo robots.txt
  Basta você clicar no botão download para que este salve o arquivo em sua máquina, para em outro momento você realizar o upload deste para o seu site.

Bom espero ter facilitado a vida de alguns com este artigo, em breve trarei mais novidades.