A melhor maneira de saber se o seu servidor foi "enraizado" é rodar um sistema de detecção de invasões baseado em host (HIDS). Infelizmente, se você não estiver executando um HIDS agora, então é tarde demais para instalar um. O momento adequado para instalar um HIDS é quando o servidor é instalado pela primeira vez e antes é colocado em uma rede.
Resumidamente, a maioria dos HIDS trabalha computando hashes criptográficos de todos os binários do sistema e armazenando esses hashes (junto com várias outras estatísticas de arquivos) em um banco de dados, chamado banco de dados de linha de base. Então, periodicamente, o HIDS redimensiona seu sistema, comparando todos os arquivos em seu banco de dados de linha de base com os arquivos de sistema atuais.
Sim, é claro, é possível que um rootkit modifique seu banco de dados de linha de base, e é por isso que você precisa fazer uma cópia desse banco de dados e armazená-lo separadamente do servidor antes de colocar o banco de dados servidor online. Então, se você suspeitar que está "enraizado" (e suspeitar que seu banco de dados de base também foi adulterado), poderá inicializar seu sistema a partir da mídia de instalação, restaurar o banco de dados em bom estado de seu backup e executar uma verificação bem conhecido. É muito mais provável, no entanto, que um rootkit não tenha antecipação de ter que derrotar seus HIDS particulares, e assim você receberá uma notificação dos HIDS de que os arquivos do sistema foram alterados, indicando uma provável invasão do sistema.
Como você não estava executando um HIDS, você não tem nenhuma maneira rápida de determinar se você foi rooteado ou quais arquivos do sistema foram modificados. Você pode gastar muito tempo comparando seus arquivos de sistema com os arquivos conhecidos de boa qualidade retirados de uma mídia de instalação de boa qualidade, mas é mais provável que esse tempo seja mais bem gasto reinstalando o sistema a partir dessa mídia. Se você quer investigar como você foi enraizado após o fato, o melhor caminho é tirar uma foto do seu sistema antes de limpá-lo e reinstalá-lo.