Você tem a chave pública SSH dele? Coloque em .ssh/authorized_keys
em seu diretório pessoal. Depois de ter feito isso (e as permissões são restritivas o suficiente - o SSH é exigente quanto a isso), ele poderá efetuar login sem precisar de uma senha ... e nunca precisará de uma.
A melhor parte é que a sua chave pública não é sensível, por isso, passá-la em e-mails ou bate-papo é bom, e sua chave privada nunca sai do computador.