Você tem razão em suspeitar. Web Gardens não tendo problemas é um grande mito, eles podem causar problemas sem fim, mas muitas pessoas ainda nem sabem quando devem ser usados.
De acordo com Chris Adams (da equipe do IIS), há apenas uma única razão para você usar um Web Garden: para fornecer aplicativos que não estejam ligados à CPU, mas executem solicitações de longa duração, a capacidade de dimensionar e não use todos os encadeamentos disponíveis no processo de trabalho. Existem muitas razões pelas quais elas podem ser ruins, no entanto, é um equívoco comum que não há desvantagem.
Eles aumentam os overheads do sistema (eles não compartilham o cache), eles não compartilham as sessões (o usuário pode perder a sessão se for transferido para outro processo), o InProc pode ficar confuso. Em suma, eles são, na maioria das vezes, um monte de problemas, e você não deveria estar usando um sem uma boa razão.
Leia a explicação completa de Chris: link
Leitura adicional: link