Enquanto, estritamente falando, o MS declara que o hash é um caractere válido em nomes de arquivos, ele realmente não deve ser usado; quebra em muitas coisas, incluindo o Windows Search, quando usado em conteúdo de arquivos ZIP, como uma URL ou com o Sharepoint, em processos de cópia de arquivos e muitos programas de backup, etc. Então não faça isso.
É como insistir que você deve ser capaz de usar asteriscos em nomes de arquivos. Alguns caracteres devem ser reservados, e a MS cometeu um erro ao não manter o hash na lista de caracteres não permitidos.
Se for necessário, use o DIR da linha de comando para suas pesquisas; ele pode manipular esses nomes de arquivos e outros que o Windows não pode fazer nada.