Direto do Google:
As metatags são uma ótima maneira para os webmasters fornecerem aos mecanismos de pesquisa informações sobre seus sites. As metatags podem ser usadas para fornecer informações a todos os tipos de clientes, e cada sistema processa apenas as metatags que entende e ignora o resto.
Se você deseja bloquear totalmente todos os mecanismos de pesquisa:
Porque?
Talvez seja um URL um tanto privado em seu site, mas não protegido de forma que um robô de pesquisa não possa vê-lo. Por exemplo, se uma página requer um login para vê-la, isso é bloqueado por um bot de pesquisa de qualquer maneira. Mas se for apenas um URL ofuscado, quem sabe como os robôs de pesquisa se locomovem, então você pode querer evitar a indexação.
Os resultados da pesquisa são outro comum. Estranho ter um resultado de pesquisa sendo resultados de pesquisa, talvez. Os temas do WordPress tendem a incluir:
Eu posso alterar isso um pouco e dizer aos bots, ei, você pode seguir os links aqui para ajudar a continuar indexando o site, mas não indexe esta página especificamente.
Outros
Os mecanismos de pesquisa tendem a usar a tag de descrição para conteúdo de texto ao lado de :
Consulte a página do Google para obter outras informações específicas do Google, como a capacidade de interromper itens de interface do usuário específicos do Google, como sua “caixa de pesquisa de link de site”.