O xfce tem seu próprio agente ssh.
Pode ser verificado se a saída de echo $SSH_AUTH_SOCK
em uma sessão ssh vagante é diferente da saída dentro de xfce4.
SOLUÇÃO : O seguinte desabilita o agente, que mais teria sido iniciado durante a inicialização de cada sessão do xfce4:
xfconf-query -c xfce4-session -p /startup/ssh-agent/enabled -n -t bool -s false
xfconf-query -c xfce4-session -p /startup/ssh-agent/type -n -t string -s ssh-agent
Dica: você precisa usar vagrant ssh
para que o ssh-agent funcione (apenas vagrant up
não é suficiente). Você pode usar: vagrant ssh -- "startx" -X
, para que o X Server seja iniciado diretamente.