I'm surprised to see that there are 3000 more kernel configurations on the default Debian one.
Isso é normal. Existem cerca de 3000 drivers diferentes disponíveis para hardware real que não fazem sentido para uma VM (até que você queira PCI (ou até mesmo USB) repasse, pelo menos).
Is there a known minimal kernel configuration template somewhere ?
Não. As necessidades das pessoas variam muito. Os mantenedores da Distro só estarão interessados em apoiar a abordagem de espingarda, onde tudo o que faz até mesmo o sentido remoto de usar está habilitado. No entanto, existem algumas ferramentas que podem ajudá-lo a criar sua própria configuração mínima de kernel, veja link