Resposta curta: Não.
Os rastreadores não podem indexar nada sob o prefixo de URL que você colocou no robots.txt.
Resposta mais longa: Depende.
A palavra-chave Allow não faz parte do padrão, mas alguns robôs a seguirão. Você pode usar isso para Permitir um URL específico e proibir a subárvore inteira que contém esse URL. A maioria dos bots trabalha em uma base de vitórias no primeiro jogo. O Google e o Bing funcionam com base em ganhos com sequência mais longa, independentemente da ordem das linhas Allow e Disallow .