Eu me deparei com esse problema também. A resposta que encontrei está documentada aqui: link , últimos dois parágrafos da seção. Basicamente, tudo se resume a informações de depuração incluídas em seu kernel (CONFIG_DEBUG_INFO = Y) e também nos módulos (não usando o comando make variável INSTALL_MOD_STRIP = 1). Minhas compilações tinham ~ 400MB antes e ~ 40MB depois.