/var/log/auth.log conterá uma entrada como:
Accepted publickey for <userid> from <IP address> port 57762 ssh2: RSA SHA256: <43 random characters>
Os "caracteres aleatórios" são a impressão digital da chave pública usada. Você pode dizer as impressões digitais das chaves em seu arquivo local authorized_keys usando:
ssh-keygen -lf /home/user/.ssh/authorized_keys
que lista a impressão digital de cada chave junto com o comentário da chave (que geralmente é um e-mail ..)