Eu coloquei meu arquivo SSH em conf.d/.ssh/id_rsa.medipop
e fiz:
config.vm.synced_folder "conf.d", "/svr/conf.d"
config.vm.provision :shell,
:inline => "cp /svr/conf.d/.ssh/id_rsa.mediapop /home/vagrant/.ssh/id_rsa"
O que funcionou esplendidamente quando percebi que o usuário vagabundo é vagrant
não ubuntu
(é por isso que fiquei confuso em minha pergunta sobre por que minha chave ssh parecia desaparecer).