Você pode usar o comando history para ver quais comandos foram executados.
history | grep ssh
Ou, se você estiver procurando por horários específicos, basta pesquisar auth.log.
grep -E 'ssh.*Accepted' /var/log/auth.log
Você pode obter as mesmas informações de servidores remotos com:
ssh <server> 'grep -E 'ssh.*Accepted' /var/log/auth.log'