Você pode se conectar a ele localmente (através do IP interno do servidor), mas para ter certeza de que está realmente funcionando, você precisará de um local externo para testar. Entre outras coisas, você precisa ter certeza de que algo a montante não está bloqueando você acidentalmente.
Eu examinaria os serviços VPN externos - há várias empresas que oferecem VPNs às quais você se conecta. Você pode se conectar à VPN e, em seguida, através da VPN, conecte-se ao seu servidor. Essa será uma conexão externa e permitirá que você faça um teste completo sem precisar sair da cadeira.
Eu nunca usei um desses serviços, mas uma pesquisa rápida no Google aumentou muito, então isso não deve ser muito difícil de encontrar um preço razoável.