A maneira mais segura de fazer login na sua caixa do Linux seria através do SSH, com autenticação de senha desativada , com a autenticação de chave ativada. O PuTTY é uma excelente ferramenta do Windows para acessar máquinas Linux através de SSH.
Para aplicativos X, você precisa adicionar um X-server (como Xming ou VcXsrv ) em sua máquina Windows e habilite o tunelamento de X no PuTTY para ele.