Parece que havia pelo menos um outro dispositivo usando o mesmo endereço IP na rede. Não sei como isso ocorreu, pois eles devem ser atribuídos a partir do DHCP. Depois de desconectar o telefone e ainda ver os tempos de ping lentos do > 400ms, eu reconfigurei o DHCP do telefone e ele recebeu um novo endereço IP e funciona bem com pings ~ 1ms.
Eu não sei qual é o dispositivo estranho com tempos de ping muito variados que estavam no mesmo IP, mas seja lá o que for, ele parece estar causando as oscilantes respostas de ping variáveis do telefone.