-o também se aplica à ação, portanto, você precisa agrupar as coisas:
find ./ -type f \( -name fileA -o -name fileB \) -exec rm {} \;
BTW, sua implementação find também pode suportar -delete :
find ./ -type f \( -name fileA -o -name fileB \) -delete