Enquanto configurar uma VPN para isso me parece subjetivamente "mais correto", rodar o SSH em diferentes portas não-padrão é de longe o mais fácil e simples.
Eu pessoalmente gostaria disso, já que todos os meus servidores são executados em portas fora do padrão para evitar botnets sobrecarregar meus arquivos de log com tentativas de login malsucedidas. É claro que isso significa que tenho 110% de certeza de que o SSH será o único serviço que precisarei para acessar o exterior.
Embora uma VPN configurada corretamente seja muito confiável, ela adiciona um ponto adicional de complexidade com o potencial de falha.