Não é possível que os mecanismos de pesquisa o encontrem, se ele não estiver vinculado a nenhum lugar (pois é a única maneira pela qual os mecanismos de pesquisa encontram outras informações). Para garantir que um mecanismo de pesquisa não o encontre por meio de um robots.txt e tenha o sigilo, use um hash duplo:
http://example.com/asdfghjk/12345678
Seu robots.txt não permitiria nada abaixo de asdfghjk:
User-agent: *
Disallow: /asdfghjk/
Mas qualquer pessoa que não conheça o caminho completo ainda não conseguirá ver a segunda parte do URL.