Se você estiver usando round-robin com um banco de dados de sessão, então sim, cada servidor ocupará memória residual em ambas as máquinas que o site / aplicativo é carregado, até que pelo menos o processo de trabalho expire.
Veja o uso do balanceador de carga do Windows no Windows 2008, ele tem processos que monitora onde uma sessão está sendo executada e a memória órfã é coletada como lixo.
Observe também que a memória do pool de aplicativos do site continuará obviamente alocada enquanto estiver usando o balanceador de carga do Windows; é apenas a memória usada pelo trabalhador processado que é melhor gerenciado.