É exatamente para isso que o grep foi projetado:
grep -v -f FileB.txt FileA.txt
-
-f <filename>lê regexes do arquivo (em vez da linha de comando) -
-vinverte a correspondência (imprime linhas não correspondentes)
Saída:
43287134, string1, string2
7464, asdf, ghjk