Para não duvidar de sua análise, mas tirar a subjetividade do que é "lento", faça um teste de velocidade
http://speedtest.net
Supondo que sua ethernet está realmente lenta, descubra se a NIC está gerando erros, descartando pacotes e assim por diante
ifconfig -a
Verifique se o driver correto está instalado
lspci | grep Eth
- Descrito o hardware Eth
lshw
- vá até a seção Eth HW e veja qual driver está instalado
lsmod | grep driver_name_in_lshw
O IPv6 não deve ser um fator a menos que haja um bug no 16.06