Se não houver um nome de arquivo correspondente, uma expressão curinga no bash será expandida para si mesma. Portanto, contanto que você não crie nenhum arquivo localmente cujo nome corresponda a user@remote:~/dir/*.xml
, seu comando funcionará sem aspas.