Para dispositivos em /dev , verifique a entrada correspondente em /sys/class/<device>/device/driver . Aqui um exemplo:
ls -l /sys/class/tty/ttyUSB0/device/driver
lrwxrwxrwx 1 root root 0 2013-07-15 11:08 /sys/class/tty/ttyUSB0/device/driver -> ../../../../../../../../../bus/usb-serial/drivers/ftdi_sio
Agora você sabe que é o ftdi_sio . O módulo pode ser encontrado com lsmod | grep ftdi_sio .
Outra maneira é executar lspci -k , que informa muito bem quais módulos são usados para qual dispositivo.