Se você quiser apenas usar a árvore do linus e ajustar a configuração para suas próprias perferências, então aqui está um método que eu uso:
git clone git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux
faça o checkout da versão desejada, por exemplo,
git checkout -b v3.6 v3.6
pegue uma cópia de uma configuração existente do Ubuntu
cp /boot/config-3.5.0-17-generic .config
.. e modifique-o se quiser adicionar ou remover várias opções de configuração. Você provavelmente precisará responder de forma interativa algumas questões de opções de configuração também.
e construir:
make oldconfig
make deb-pkg INSTALL_MOD_STRIP=1
Note que você não receberá nenhuma das correções da equipe do kernel do Ubuntu, atualizações do CVE e patches do SAUCE desta forma, então você está bem por conta própria para manter isso sozinho.