Se você quiser usar o SSH, obviamente deseja configurar as chaves ssh para inserir senhas ou será forçado a digitar a senha todas as vezes. As chaves SSH são obviamente muito mais seguras. O comando ssh pode ser usado para enviar um comando para a caixa remota e depois sair quando o comando terminar:
ssh root@remoteserver COMMAND
No seu caso:
ssh root@remoteserver [yum,apt-get,etc] install package
Mas sem as chaves ssh você ainda terá que conectar a senha. Se você quiser rodar vários de uma vez, algo que você poderia fazer é passar os servidores para um loop for. MAS, novamente, sem ssh sem senha, você será solicitado a fornecer a senha toda vez que se conectar a um servidor.
for i in remoteserver1 remoteserver2 remoteserver3; do ssh root@$i [yum,apt-get,etc] install package ; done
Existe também um utilitário chamado sshpass que pode ser útil para o que você está procurando (nunca usei) mas eu recomendaria chaves ssh para simplicidade e segurança.