Verificar seus registros é a primeira coisa a fazer. Isso deve avisá-lo se alguém entrou no seu sistema através de alguma porta aberta ( por exemplo, sshd, você vê os tempos de login que não correspondem aos horários em que você se conectou?)
Verificar / etc é uma boa ideia, mas isso só lhe dirá se alguém tentou modificar sua configuração, não se alguém realmente penetrou em seu sistema apenas por diversão.
Além disso, você aplicou todos os patches de segurança atuais para sua plataforma? Se não, faça isso imediatamente.
Se você determinar que o seu sistema foi penetrado, você terá que descobrir qual vetor eles usaram. Você diz que é um servidor doméstico: isso significa que alguém decifrou sua senha do Wi-Fi e atacou pela LAN - que geralmente é uma rede confiável - ou que alguém passou pelo roteador do lado da WAN?
PS Esqueci-me de incluir a possibilidade de que um script (que você correu de propósito) possa ter tocado em arquivos em ~ / por alguma razão totalmente legítima. Isso é algo para se ver também, antes de ficar muito preocupado por ter sido hackeado.