É uma boa pergunta.
Você precisa listar exatamente o hardware que você tem.
Sim: lspi e lsusb é o bom caminho, lsmod também.
Você pode analisar o arquivo syslog para encontrar informações adicionais.
No entanto: o que é carregado tem um bom motivo para ser carregado, talvez sobre serviços não utilizados.
Construir seu kernel doméstico tem riscos: você precisa estar preparado para esquecer algo e precisa estar preparado para um sistema que não seja de inicialização!
Habitualy, nós compilamos o kernel porque ele foi modificado por remendos.
Divirta-se!