Parece que você deseja uma ferramenta de provisionamento, como ansible , Salina , chef ou fantoche .
O Ansible funciona de maneira muito parecida com o que você quer, você o executa localmente e faz sshs em servidores remotos para executar comandos (não é necessário instalar um agente nos servidores remotos como os outros produtos listados acima). Por exemplo, dada uma lista de servidores em /etc/ansible/hosts você pode executar ansible all -a "/bin/echo hello" para executar o comando em todos os servidores. Guia completo aqui .
Mas, além disso, você pode começar a criar manuais de comandos úteis que permitem que você os execute novamente nos hosts no futuro e trabalhe para automatizar o gerenciamento de sua infraestrutura.
Como alternativa, você pode usar comandos como pssh para executar comandos em lote em paralelo ou usando o synchronize-panes do tmux para executar comandos interativamente em vários hosts.