Como Dennis apontou, falsificar isso seria fácil. Além disso, garantir que você não excluiria acidentalmente um mecanismo de pesquisa seria difícil.
Digamos que você queira permitir que o Google, o Yahoo e o Bing direcionem seu site. Assim, você permite apenas o acesso ao sitemap para os agentes de usuários associados. Existem dois problemas agora:
E se um serviço mudar o user agent? E se você precisar incluir um serviço diferente? Agora você precisa reescrever suas regras antes que o serviço possa ver o sitemap.
Por que eu não, como um sitecraper, simplesmente declaro freneticamente que sou uma aranha do Google? A especificação de um agente do usuário é possível (e fácil) em diversos idiomas, além de muitos navegadores, como o FireFox e o Safari.
Então, a resposta curta é: "Não, mas você pode tornar isso mais difícil. Mas isso sobrecarrega você".