Basicamente, ele oferece muito mais opções. Por exemplo, você pode:
- Você pode executar ping na instância (com certeza, uso limitado, se souber que pode fazer VPN nela)
- Você pode se conectar a qualquer serviço que esteja sendo executado diretamente. Por exemplo, ele pode estar executando um servidor da Web que ainda não está aberto na Internet, seja porque você ainda não o configurou ou não está pronto.
- Além disso, o OpenVPN pode ser configurado para ser mais seguro que o ssh. Com o ssh, um invasor pode ver que o servidor existe, mas com uma chave HMAC, você pode fazer com que o servidor pareça que nada está escutando na porta.
A resposta simples é que você pode usar qualquer servidor, não apenas o ssh. O Ssh é uma boa ferramenta, mas ter outras ferramentas também pode ser útil.
Agora, só para ficar claro, é por isso que ter OpenVPN em ADDITION para ssh é útil. Não vejo nenhum motivo para você parar de usar o ssh.