O kernel do Linux inclui apenas drivers essenciais que são essenciais para que funcione. Um monte de outros drivers existem, mas são fornecidos como módulos externos e carregados em tempo de execução apenas se necessário.
Desativar recursos de segurança é uma ideia muito ruim.
Quanto a desabilitar a depuração, não sei quanto espaço você economizará com isso, mas dificilmente valerá o esforço.
Você pode querer dar uma olhada no Tiny Core Linux ou no Linux Kernel Tinification projeto que pode fornecer o que você está procurando.