Você está perguntando sobre a coisa errada. O acesso remoto não é específico para os VPSs de qualquer forma.
No Linux, o programa que permite conectar-se remotamente é quase sempre SSH ("Secure Shell"), com OpenSSH sendo a implementação mais comum ( Dropbear , LSH e SSH.COM são alguns outros). Alguns sistemas podem ter o Telnet ou mesmo o rlogin, mas estão quase universalmente extintos devido à absoluta falta de segurança no mundo moderno.
É um pouco mais complexo no Windows, pois nem todas as tarefas de administração podem ser feitas a partir da linha de comando (embora isso tenha melhorado muito nos últimos anos). Os dois recursos internos de acesso remoto são o Remote Desktop (também conhecido como RDP ou "Terminal Services") para acesso à área de trabalho gráfica e PowerShell Remoting para linha de comando (especificamente PowerShell comandos).
Você também pode encontrar servidores SSH de terceiros para Windows, como Bitvise WinSSHd , ou FreeSSHd , ou Cygwin OpenSSH . As versões mais antigas do Windows NT não tinham o PowerShell, mas tinham um servidor Telnet integrado.
E para responder à pergunta literalmente, o equivalente do Windows a um VPS do Linux é ... um Windows VPS.