Em /etc/initramfs-tools/initramfs.conf , defina MODULES=dep em vez de MODULES=most . O processo de criação do initrd irá descobrir quais módulos você precisa, em vez de incluir uma grande variedade de coisas. Note, no entanto, que isso torna o processo de inicialização muito dependente do hardware e se você precisar usar um conjunto diferente de hardware (em particular, drives), o initrd pode não funcionar.
Além disso, você pode escolher um algoritmo de compactação melhor, o padrão ainda deve ser gzip, mas xz (ou lzma2) também está disponível via COMPRESS=xz . Claro que você precisa ter o xz-utils instalado. A compactação inicial demora mais, mas a descompactação durante a inicialização não deve demorar muito mais. Ambas as opções juntas também podem reduzir um pouco o tempo de inicialização.
Depois de definir isso, execute sudo update-initramfs -u -k all para que ele tenha efeito.