As versões recentes do SSH são seguras, de ponta a ponta, tal como @Iain menciona. A preocupação de segurança mais pertinente vem da segurança física em seu ponto final. Você não quer se afastar de um PC desbloqueado com as credenciais de administrador de domínio ativas. O mesmo vale para suas conexões SSH. Muitos dos desenvolvedores com quem eu costumava trabalhar tinham problemas a esse respeito - eles deixavam as conexões abertas regularmente com direitos totais de sudo e deixavam suas estações de trabalho desacompanhadas.