Permitir que um programa conhecido (ssh) de acesso remoto a um programa suid seja, em princípio, inseguro. passwd define o ID do usuário, ou seja, eleva as permissões. O ssh deve ser usado com cuidado, pois ele também delega a administração do firewall ao usuário remoto (encaminhamento de porta, etc.). Se o sshd é sua única opção de acesso remoto, você tem apenas um servidor, e você insiste em usar este servidor como meio de alterar senhas e servir e-mails, limitar todas as opções apenas para sshd e mail e endurecer o resto da caixa removendo tudo, exceto os serviços que você precisa: troca de e-mails e senhas.
A fonte do passwd está sob escrutínio, mas você conhece o hack de login clássico feito por Ken Thompson (criador do unix) no compilador C? Leia as Reflexões sobre Confiança Confiável de Ken para decidir em quem confiar.
link