Você pode usar fgrep para isso:
fgrep -v -f file1 file2 > unique_addresses
Esta tarefa será muito mais fácil se você tiver 1 endereço de e-mail por linha nos dois arquivos.
Tradicionalmente o fgrep existe como um programa separado, mas nos utilitários GNU, grep -F faz o mesmo.