O acesso SSH está normalmente na porta 22.
No entanto, se você estiver acessando a máquina atualmente por meio de um KVM, será necessário garantir, a partir do software KVM, se ele oferece o próprio encaminhamento de porta, ou será necessário descobrir o IP público do servidor para que você possa conecte-se diretamente a ele (na porta 22, a menos que a porta tenha sido alterada).
Como telcoM apontou nos comentários, se o único IP acessível do servidor estiver nos intervalos de IP privados ( 10. . . , 172. [16..31]. . , 192.168. . *) Então eles podem não estar diretamente publicamente acessíveis . Se este for o caso, você precisa conversar com o provedor sobre como obter acesso.