Como outros já mencionaram, existem ferramentas projetadas para gerenciar múltiplas máquinas, mas para uma solução puramente bash você pode escrever um loop for e executar comandos através de ssh em um punhado de nós.
Assumindo que host1 e host2 são os nomes de host de pessoas que você deseja que isso aconteça de:
for node in host1 host2; do
scp /tmp/script.sh user@$node:/tmp/script.sh
if [[ "$?" == "0" ]];then #checks that last command didn't return an error
ssh -oBatchMode=yes user@$node /tmp/script.sh
fi
done
Se você for usar essa solução, recomendo configurar as chaves ssh para que você não precise inserir a senha todas as vezes. A opção BatchMode fará com que o script pule em vez de esperar pela entrada, você pode decidir se é preferível.