Não tem certeza do erro que está causando, pode ser um erro de sintaxe.
Se você está logado no Ubuntu VM, então deve ser tão simples quanto scp username@ipaddress:file.txt /some/place/local/
. A página man do SCP é confusa e não muito clara.
Dê uma olhada nesta página para alguns exemplos: link