Não use um esquema de nome de usuário / senha.
Use as chaves SSH. Isso oferece as seguintes vantagens:
- pode usar SCP (ou rsync para mais controle!)
- pode usar uma conta para todos os logins, diferenciados apenas pela chave usada para efetuar login
- pode facilmente revogar uma chave removendo-a de authorized_keys