Compare dois diretórios, mas apenas uma parte do nome do arquivo

Question

Eu tenho dois diretórios com muitos arquivos. Em um diretório existem arquivos, por exemplo,

file_0001
file_0002
... etc, 

e nos outros arquivos de diretório são

text_0001_file
text_0002_file
... etc.

file_0001 e arquivo text_0001_file são iguais, um par. Eu preciso encontrar um arquivo sem um par. Então eu preciso comparar apenas uma parte de um nome. Como posso fazer isso no bash?