Você pode usar grep :
$ grep -vFf file2 file1
L3 pattern3 pattern
L4 pattern4
-v , -F e -f são definidos por POSIX grep .
Observe que o acima também corresponderá aos subpadrões. Por exemplo, se você tiver pattern no arquivo2, isso corresponderá a pattern1 no arquivo1. Para evitar que você possa usar -w (para o GNU e BSD grep, talvez outros):
$ grep -wvFf file2 file1