Verifique se você está se conectando ao endereço correto. Se você usar endereços locais de link em fe80:: , não esqueça o identificador de escopo (no Linux - o nome da interface). Se você estiver usando "Rede em ponte" no eth0 do Ubuntu, precisará adicionar %eth0 ao endereço:
fe80::2e69:8a08%eth0
(Semelhante para vboxnet0 , tap0 ou o que você tiver. Observe que o VirtualBox não suporta IPv6 em interfaces sem fio em ponte.)
Tente também o Wireshark ou o tcpdump para descobrir se os pacotes realmente alcançam a VM.