-o
também se aplica à ação, portanto, você precisa agrupar as coisas:
find ./ -type f \( -name fileA -o -name fileB \) -exec rm {} \;
BTW, sua implementação find
também pode suportar -delete
:
find ./ -type f \( -name fileA -o -name fileB \) -delete