No Linux, o termo subsistema é usado para descrever parte da arquitetura interna do kernel. O arquivo MAINTAINERS em qualquer árvore de código do kernel do Linux lista os subsistemas e, por exemplo, o link tem o 'SUBSYSTEM' aparecendo 64 vezes.
No caso do netfilter, este é um subsistema do kernel, e sua funcionalidade é fornecida por uma parte discreta do kernel e possui sua própria API bem definida. (Embora o arquivo MAINTAINERS do kernel tenha um mantenedor listado para ele, ele não é descrito explicitamente como um subsistema).
Em geral, na engenharia de sistemas, um sistema pode ser dividido em várias partes distintas, mas essa divisão é geralmente arbitrária, embora lógica, e não há regras rígidas sobre como fazê-lo.
Como uma breve visão geral dos subsistemas de kernel do Linux em particular, este artigo pode ser útil - Anatomia do kernel Linux