Como é uma conexão VPN, do ponto de vista da sua conexão doméstica, você está enviando dados para o seu cliente VPN.
Embora o RPi, por si só, não seja uma máquina extremamente potente, no final do dia você está mais limitado pela sua velocidade residencial upstream do que qualquer outro fator.
Então, em casa, as velocidades serão mais lentas.
Se de fato você conseguir maximizar a 5MB / 40Mbps em uma conexão de rede local / gigabit, o valor é muito bom, e se medido em teste de velocidade, significa que você está levando a Ethernet de 100Mbps para o limite teórico de 80% de uso.
PS. Gostaria de salientar que correr a partir de um teste de velocidade normalmente em casa, está a medir a velocidade a jusante; Usando um speedtest em um cliente VPN, se não for limitado por limites de CPU, você está medindo (aproximadamente) sua velocidade de upstream.