Certo, o Grub é autônomo e implementa todos os seus próprios drivers. Demora um pouco mais que “20-30 KB de binário” para fazer isso; Meu diretório /boot/grub/i386-pc contém 2,4 milhões de módulos do MiB (que é onde todos os recursos do Grub são implementados).
Os arquivos vmlinuz em /boot são os vários kernels Linux que você instalou. O Grub não precisa deles, eles são o que o Grub carrega para inicializar o Linux (junto com um initramfs).