O problema provou ser totalmente não relacionado ao OpenVPN, e as configurações postadas do OpenVPN não têm culpa.
A solução no meu caso foi desabilitar um módulo de QoS mal comportado da pilha kernel / ip.
Depois disso, o ping no meu OpenVPN está na ordem de 150ms em um link com ping de 100ms sem o OpenVPN.