A solução mostrou ser a MTU que especifica a quantidade de dados no pacote da Internet. Por padrão, o ubuntu usa uma configuração de 1500 para os pacotes Eathernet. Meu roteador tinha uma configuração de 1492 para PPP e eu precisava configurar o MTU para 1484, permitindo alguns bytes de espaço adicionados pelas várias camadas.
Alguns links que ajudaram