Em /etc/rc , pesquise: ssh-keygen -A e exclua esta linha. Você não deve recriar nenhuma tecla na inicialização. Eu fiz isso e não recebi nenhum aviso de erro na inicialização, mas se alguém souber uma maneira "mais limpa" de fazer isso, responda! Também este trabalho para o OpenBSD apenas (eu acho), mas deve ser apenas uma questão de encontrar o script de init correto para remover essa linha em outras variantes unix.
Editar: Se você quiser preservar seu script de inicialização se precisar dele para atualizar seu sistema, execute cd /etc then cp rc rc.backup . Se você precisar do seu script original, basta remover rc e renomear rc.backup para rc