Parece que você tem uma boa ideia do que está fazendo aqui. É sempre uma boa ideia documentar quais sistemas podem se conectar às coisas sem nenhuma senha. Não é necessariamente uma má prática fazê-lo e, na verdade, é necessário fazer algumas coisas, mas você precisa saber como tudo funciona se alguém invadir um de seus servidores - o que mais eles conseguiram acessar?
Um lugar para procurar é o log de autenticação em todos os seus servidores. Isso lhe dirá quais chaves estão realmente sendo usadas para scripts / programas atuais.
O SSHd informa como o usuário efetuou login. Nos registros, você verá uma linha como:
Accepted publickey for automatedprocess from 123.456.789.012 port 12345 ssh2
Percorrendo os registros e localizando todas as combinações exclusivas do servidor em que o registro está, o nome de usuário e o endereço de, mostrarão a você quais sistemas têm usado essas chaves.
Isso também pode dar a você um bom ponto de partida para ver quais não são mais necessários e quais são usados regularmente por processos automatizados.