Veja o /var/auth.log para mais informações.
Se alguém estiver tentando acessar sua máquina, será registrado neste arquivo.
Exemplo do meu auth.log:
Apr 24 13:53:16 my-server sshd[8107]: Failed password for invalid user db2 from 123.123.123.123 port 59167 ssh2
Para ver o IP de usuários conectados (conexões SSH), digite:
netstat -atn | egrep '(:22)' | egrep -v '(:::|0.0.0.0)' | awk '{print substr($5,0,length($5)-5)}' | sort | uniq -c
Isso mostrará o IP e o número de conexão / IP