Embora o Felipe tenha a melhor resposta para uma solução apenas para o bash, acho que o Ansible é muito superior para essa tarefa.
Você simplesmente precisa colocar todos os seus servidores em um arquivo de inventário como este:
[default]
firstserver.com ansible_ssh_user=firstuser
secondserver.com ansible_ssh_user=seconduser
thirdserver.com ansible_ssh_user=thirduser
E um manual semelhante a este:
--- #copyfiles.yml
hosts: all
tasks:
- name: copy file to servers
copy:
src: /path/to/local/file
dest: /path/to/remote/file
E, em seguida, execute:
ansible-playbook -i /path/to/inventory copyfiles.yml --ask-pass