O comando mysql
é o que realmente gera a saída,
portanto, redirecione sua saída padrão (stdout). Altere a segunda linha para
mysql -uUSER -p'PASSWORD' >> myfile.csv << EndOfFile
usando >>
para anexar a myfile.csv
, se já existir.