Provavelmente vou começar decidindo se quero usar o sistema remoto em cli ou gui.
putty é cliente ssh 'standard' defacto para windows- lida apenas com cli frequentemente usado com xming
Embora seja mais pesado, eu prefiro mobaxterm - ele tem suporte a x server (pode ser remoto em um toda sessão de gui), um terminal de estilo unix apropriado no windows (assim você se conecta a um sistema com ssh e tal). Ele também permite que você se acostume com o cli de estilo unix até certo ponto - então é um bom intermediário entre o handholding em termos de começar, e lhe dar a chance de aprender o conhecimento de usar ferramentas linux.