Não, isso não é evidência de um compromisso.
Qualquer servidor na Internet pode esperar tentativas regulares de brute SSH e outros tipos de logins. Esses tipos de ataques são automatizados e não segmentados. Normalmente, o objetivo do ataque é instalar um bot que possa ser usado para enviar spam ou iniciar mais ataques. Os ataques geralmente são baseados em dicionários.
Obviamente, se algum invasor tentar usar um nome de usuário e senha aleatórios, eles começarão estabelecendo uma conexão com seu servidor SSH. Isso é o que você está vendo no lsof (e também veria no netstat).
Se você quiser verificar o comprometimento, observe o wtmp (digite quem) e observe os logs do sistema. Auditoria de registros no syslog (como "sessão aberta para usuário james") irá lançar alguma luz.
Você também pode procurar usuários que não reconhece e inspecionar o tráfego e as conexões (o comando netstat -nvlp
pode ser útil) para verificar se o servidor está executando processos inesperados que estão fazendo coisas como enviar email ou originar conexões com outras serviços.