Mude o tipo do seu adaptador nas Configurações do Virtualbox para os sistemas operacionais convidados com o problema.
Primeiro, selecione a instância com taxas de transferência de rede lentas e desligue-a. Então vá para as configurações dele.
Selecione "Rede" à esquerda e "Avançado" à direita.
Existe um menu suspenso com o nome "Tipo de adaptador".
Tente cada tipo de adaptador e veja se uma das outras opções resolve seu problema.
Você também pode querer atualizar para a versão atual do Virtualbox: 4.1.14. Eu acho que o mais recente na coleção de ports do FreeBSD é 4.1.12 no momento, mas mesmo isso deve ser melhor que o 4.0.14 que você está usando.
Em uma nota lateral, por que o FreeBSD 7? 9 tem muito melhor suporte ao ZFS.