Você provavelmente tem uma velocidade de upload de 5 Mbps em casa, portanto, logicamente, você tem uma velocidade de download de 5 Mbps em sua rede doméstica (menos alguma sobrecarga de VPN) no máximo.
Se as conexões à sua rede doméstica forem significativamente mais rápidas sem VPN, o seu RasPi simplesmente não conseguirá lidar com o tráfego mais rápido.