O problema estava no arquivo /etc/resolve.conf
. Ele continha servidores DNS reais para minha conexão VPN.
É por isso que a internet foi rápida quando a VPN foi ativada.
Quando a VPN não foi ativada, tentou usar os primeiros servidores dns que estão na rede segura.