Você pode usar o comando tell grep para ler seus padrões de um arquivo - com o comutador -v (invert) que deve fazer o que você quer
fgrep -vf patternfile listfile
De man grep
-f FILE, --file=FILE
Obtain patterns from FILE, one per line. The empty file
contains zero patterns, and therefore matches nothing. (-f is
specified by POSIX.)