Refere-se às tecnologias usadas que compõem o seu serviço: o seu aplicativo / linguagem de aplicativo da Web depende do seu servidor da web, que fala com um banco de dados específico e ele é executado com) sistemas operacionais específicos. Então você pode ter uma pilha assim:
P PHP
M MySQL
Um Apache
L Linux
para compor a pilha LAMP, ou assim:
C C #
S Sql Server
I IIS
W Windows
para criar uma pilha WISC (windows). Outras "pilhas" comuns são WIMP (Windows, IIS, MySQL, PHP) e WAMP (Windows, Apache, MySQL, PHP).
E esses são apenas alguns dos mais simples. Ele nem sequer leva em conta o Oracle, o Ruby, o Java, o Python e muitas outras opções que podem se encaixar em vários pontos. Você poderia ter um MySQL rodando no linux servindo como banco de dados para um aplicativo da web em execução no Windows ou um nível de serviço da web usando um conjunto de tecnologias completamente diferente da sua camada de aplicativo (que pode até ser um aplicativo de desktop).
O importante é que muitas vezes falamos se sua pilha é baseada em Windows ou Linux e a razão é importante porque os desenvolvedores de software tendem a criar produtos com uma pilha específica em mente ou têm experiência em trabalhar com uma pilha. (ou família de pilhas) mas não outra. Contanto que você corresponda à pilha, o produto deve funcionar como esperado.