Crie uma lista de arquivos em B \, substitua B \ por A \ e remova-os.
/bin/ls -1 B/ | xargs -I {} echo rm A/{}
remova o eco assim que o tiver. Por exemplo:
$ ls A/
1 2 3
$ ls B/
1 2
$ /bin/ls -1 B/ | xargs -I {} echo rm A/{}
rm A/1
rm A/2
Se você tiver muitos arquivos, sugiro fazer algo parecido com
#!/bin/sh
for f in 'ls -1 B/*'
do rm A/$f
done
Certificar-se de que os arquivos com espaços e controlar o trabalho de caracteres sejam deixados como um exercício para o leitor ^ _-