Estou adicionando esta solução para qualquer pessoa que venha a este tópico:
Primeiro abra este arquivo na máquina host:
$ sudo vim ~/.vagrant.d/boxes/<yourbox>/include/_Vagrantfile
Verifique se config.ssh.private_key_path
está definido para o seu arquivo de chave privada. Se não atualizar isso
ssh para vagrant box com pwd padrão
$ vagrant ssh (default pwd = ‘vagrant’]
Uma vez na caixa:
vagrant@lucid64:~$ sudo visudo -f .ssh/authorized_keys
Adicione sua chave pública a este arquivo, salve o arquivo e saia da caixa
vagrant@lucid64:~$ exit
Voltar para a máquina local
$ vagrant halt
$ vagrant up
Isso funcionou para mim