Você menciona o kernel como um programa de preocupação. O kernel, e tudo escrito em C, é compilado, então o código fonte é lido e traduzido em código de máquina. Todos os comentários são retirados durante este processo. Então você não precisa se preocupar com qualquer lentidão nos comentários.
O código interpretado, digamos, shell ou python, pode sofrer com a lentidão induzida por comentários. Mas tenho certeza de que seria insignificante. Os comentários são processados ao analisar o programa, no ponto em que eles seriam removidos, afetando o tempo de análise inicial, mas não o tempo de execução.
Aqui está mais sobre esse assunto:
Portanto, o importante é que você não precisa se preocupar com isso, que diminui a velocidade de qualquer maneira perceptível ou relevante.