Não há carga pesada no seu sistema.
As interrupções são tratadas corretamente, assim como seu roteamento e seu aplicativo. Se não fosse assim, o seu sistema não teria 30% de inatividade. (De qualquer forma, onde você vê isso?)
Usar um sistema pequeno para muitas coisas diferentes simultaneamente nem sempre significa uma sobrecarga, especialmente se não houver muitos dados para o NAT. Se suas interfaces de rede estão trabalhando com DMA (o que é muito provável), então seus manipuladores de interrupção não estão nem mesmo fazendo uma cópia de bloco único nos kernels atuais.
Além disso, você está carregando seu sistema de maneira muito diferente (enquanto o chip da placa de rede está falando com o dma, seu aplicativo pode funcionar).
O único grande problema pode estar no seu sistema a grande proporção dos comutadores de tarefas. É o maior problema dos servidores semelhantes, de núcleo único, multiuso e maravilhosos. Mas no seu caso, isso causou uma carga pesada no sistema, o que não acontece.
Fiquei feliz em estender esta resposta se você explicasse, de onde vem essa coisa "30% ociosa". Você diz que a carga do sistema é sempre maior que 1.