Você encontrará informações sobre dispositivos USB conectados e desconectados em /var/log/dmesg e /var/log/syslog (pelo menos em um sistema baseado no Debian como o (X) Ubuntu). syslog será mais útil para você, pois contém a data e a hora reais, não apenas os segundos desde que o sistema foi iniciado.
Se você estiver interessado apenas em atividades recentes, provavelmente conseguirá pesquisar o arquivo de log mais recente:
grep ' usb ' /var/log/syslog
Se isso não for suficiente, você terá que descompactar /var/log/syslog.*.gz (não para /var/log !) e pesquisá-los também.