Não, em geral, não melhoraria o desempenho. Primeiro de tudo, os módulos geralmente não são carregados se não houver hardware para eles. Por exemplo, os módulos de disquete não serão carregados, a menos que você tenha uma unidade de disquete.
Você pode verificar quais módulos o sistema carregou
lsmod | less
Pressione q para sair menos.
Um sistema moderno normalmente terá dezenas de módulos suportando vários subsistemas.
Se você tentar carregar um módulo que não tenha um dispositivo correspondente, muitas vezes ele não será carregado:
$ sudo modprobe floppy
modprobe: ERROR: could not insert 'floppy': No such device
Mas mesmo se fosse para carregar, não ocuparia uma quantidade significativa de tempo de CPU - como nunca seria chamado por nada. A única sobrecarga de recursos seria uma pequena quantidade de RAM. Além disso, seu computador provavelmente gasta a maior parte de seus recursos em aplicativos de espaço do usuário, não em drivers de dispositivo, portanto, otimizar o kernel provavelmente proporcionará pequenos benefícios de desempenho, em comparação à mudança para um ambiente de desktop mais leve.