Ok, finalmente depois de construir o kernel várias vezes, descobri que esse problema pode acontecer se você usar o comando abaixo para criar o arquivo .config:
make defconfig
Observe que isso muitas vezes aconteceria se você estivesse usando uma ferramenta como o VMWare Workstation. A razão para isso está relacionada à habilitação de hardware, no que me diz respeito. Eu sugiro usar a caixa virtual em vez disso, como isso só foi outra maneira que eu poderia resolver isso!
De qualquer forma, a maneira correta de corrigir isso é fazer o arquivo .config usando o comando abaixo:
yes '' | make oldconfig
você pode usar:
make menuconfig
usando o comando acima, você pode personalizar o arquivo .config.
Espero que isso ajude quem está construindo o kernel e enfrentando o mesmo problema no futuro.