Para gerenciar centenas de servidores, é melhor usar algum tipo de ferramenta de gerenciamento de configuração, como marionetes e chefs, ou ansible, etc.
você ainda teria que configurá-lo uma vez, mas você pode fazer muito mais do que apenas ssh depois, então provavelmente valeria a pena, por exemplo, quando você quiser atualizar a chave ssh, uma única mudança no mestre de marionetes (ou equivalente em outros CMs) seria suficiente. por segurança, é recomendável que você mude sua chave de vez em quando.