Bem, eu descobri isso sozinho.
Acidentalmente descobri que posso curl google.com
mas não posso curl www.google.com
e como o primeiro é bem menor, acho que isso é um problema com o MTU ou algo assim, fazendo com que o sistema operacional convidado não consiga transferir grandes segmentos de dados .
Após pesquisar "mtu em ponte virtual", encontrei esta postagem: link
Então eu tentei ethtool -K eth2 sg off rx off tx off tso off
no Ubuntu Server (eth2 é a interface em ponte) e ... funciona como um encanto! Instantaneamente