Pode ou não haver uma violação de segurança.
Pode ser apenas um idiota tentando usar senhas de crack de força bruta. Se eles se conectarem, tentarem uma senha, ela falhar, eles não tentarem outra ou fechar a conexão, então você poderá ver essas conexões que eventualmente serão fechadas pelo sshd.
/var/log/auth.log
deve ter alguma informação sobre as tentativas de login. o comando last
pode mostrar logins bem-sucedidos.