A distância nem sempre afeta a latência; no entanto, parece que você já testou e encontrou uma correlação com seus dois possíveis fornecedores. Para melhor servir a sua base de clientes, menor latência é melhor (independentemente da distância física), então eu iria com DigitalOcean.
Com isso dito, se houver algum outro motivo, você preferiria usar a OVH e seus usuários se conectarão principalmente de dispositivos móveis através de redes de celular 3G congestionadas (ou outros links lentos), então você provavelmente poderia se safar Latência de 400 ms.
Supondo que você esteja usando HTTP (S), lembre-se de que cada bit do site baixado é uma nova conexão, portanto, cada arquivo de imagem, arquivo CSS, arquivo Javascript, arquivo de vídeo, etc. cada parte da construção da conexão e do download do arquivo, portanto, esses tempos de latência serão repetidos várias vezes para fazer o download de um site inteiro.