Talvez você estivesse sonhando ou talvez tenha lido algo sobre a compilação de um kernel personalizado, que oferece milhares de opções do que você pode incluir ou excluir.
Esta é a documentação do Ubuntu para compilar seu próprio kernel: link
O problema é que você será o único responsável por sua estabilidade e manutenção; não será um kernel oficial fornecido pelo Ubuntu - e é um bom bocado de trabalho. Você não obtém muito ganho em termos de espaço em disco e perde muito em termos de incompatibilidade com determinado hardware.
O Ubuntu fornece alguns sabores diferentes do kernel pré-compilado. Onde o normal é linux-image-generic , um outro que eles fornecem é linux-image-virtual , que possui um conjunto muito reduzido de drivers de dispositivo, destinado a ser executado como convidado em uma VM (os drivers incluídos devem fornecer suporte nas principais plataformas: Qemu / KVM , Xen, etc).