Para responder minha própria pergunta.
Tentei isso no lado do cliente.
iperf.exe -c 192.168.2.104 -b 1g
Veja os resultados
C:\Users\XEN\Downloads>iperf.exe -c 192.168.2.104 -b 400m
WARNING: option -b implies udp testing
------------------------------------------------------------
Client connecting to 192.168.2.104, UDP port 5001
Sending 1470 byte datagrams
UDP buffer size: 8.00 KByte (default)
------------------------------------------------------------
[148] local 192.168.2.105 port 50973 connected with 192.168.2.104 port 5001
[ ID] Interval Transfer Bandwidth
[148] 0.0- 4.5 sec 52.9 MBytes 99.6 Mbits/sec
[148] Server Report:
[148] 0.0- 4.4 sec 52.9 MBytes 99.8 Mbits/sec 0.864 ms 0/37719 (0%)
[148] Sent 37719 datagrams
Parece que o Windows ou o VirtualBox tem algumas limitações de UDP. Eu não consigo fazer isso passar dos 100Mbit. No linux, na verdade eu ultrapassei 1Gbit com o mesmo comando. Percebo que o tamanho do buffer do Windows é de apenas 8Kb. No linux é 122Kb. Então, vou tentar aumentá-lo.
EDIT: Em resumo, sim, é um pouco lento. Vou comparar com o VMWare ou tente a rede NAT.