Se você tiver o apache2 em execução no sistema, verifique /var/log/apache2/access.log? Eu normalmente recebo registros de ping desse registro e isso foi benéfico para mim.
As pessoas que "geralmente" poderiam acessar seu host seriam port: 80: 443: 21: 20: 22, acredito. Portanto, verifique seu log do mecanismo http (como o apache2); log de acesso ftp; e syslog / ssh. Talvez essa direção lhe dê mais informações para descobrir tentativas não autorizadas.