Bem, eu descobri isso sozinho.
Acidentalmente descobri que posso curl google.com mas não posso curl www.google.com e como o primeiro é bem menor, acho que isso é um problema com o MTU ou algo assim, fazendo com que o sistema operacional convidado não consiga transferir grandes segmentos de dados .
Após pesquisar "mtu em ponte virtual", encontrei esta postagem: link
Então eu tentei ethtool -K eth2 sg off rx off tx off tso off no Ubuntu Server (eth2 é a interface em ponte) e ... funciona como um encanto! Instantaneamente