É claro que existem efeitos colaterais em termos de tamanho e desempenho de build. No entanto, você está fazendo uma compilação de depuração! Eles não são enormes e alguns podem ser módulos que você só carrega quando os está usando, mas ainda assim você não os usará em seu servidor de produção de alto desempenho.
Além disso, não parece haver nada para responder em sua pergunta. Se você souber de quais ferramentas deseja se valer, deve estar claro quais opções habilitar para que as ferramentas funcionem. Se você está perguntando sobre qual software usar para depurar o kernel, essa é uma questão diferente, e você deve descobrir exatamente o que deseja perguntar e fazer essa pergunta.