Esse tipo de solução existe em um continuum.
Em um extremo do espectro, há computadores clientes executando um sistema operacional "espesso" (como o Windows ou uma distribuição Linux de desktop) e conectando via software cliente a aplicativos hospedados (via atalhos RemoteApp e RDP) ou via protocolo Citrix ICA).
No meio do espectro, você tem clientes conectando-se por meio desses mesmos protocolos a sessões de desktop completas (em vez de um único aplicativo), mas usando uma instalação compartilhada do sistema operacional. Este é tipicamente o mundo dos "Serviços de Terminal" do Windows.
Na extremidade mais distante do espectro, você tem o que geralmente é conhecido como VDI (Virtual Desktop Infrastructure), em que os dispositivos clientes são muito limitados e só hospedam o software cliente para se conectar a uma instância do sistema operacional hospedada.
Todas essas situações são fisicamente viáveis, mas você faria um favor a começar a investigar os custos de licenciamento antes de ir atrás dos servidores específicos, etc.
Os custos de licenciamento no mundo da Microsoft incluem Licenças de Acesso para Cliente dos Serviços de Terminal ou Windows Virtual Enterprise Centralized Licenças Desktop (VECD) de sistemas operacionais para lidar com cada dispositivo ou usuário acessando a solução VDI. O licenciamento do seu software de aplicativo para desktop, dependendo do local em que você está caindo, também pode ser diferente do que você usa atualmente, e isso exige compras adicionais de licenças.
É provável que você descubra que os custos de aquisição de uma infraestrutura de VDI são similares, se não mais caros, do que percorrer a rota tradicional de "cliente de alto custo". Física e prática usando dispositivos thin client soa como uma "vitória", mas as despesas com licenciamento de software tradicionalmente mais do que compensaram qualquer economia de custo de hardware, o que deixa apenas a gestão de "custos baixos" e a economia de TCO como justificativa.
Editar:
Ryan Bolger acertou na cabeça com sua resposta (e eu o anotei para ele) com relação a economias de "custos baixos", que você tem razão em identificar como o lugar para economizar dinheiro.
Aprender como implantar software, gerenciar ambientes de usuários e, em geral, manter o controle da rede usando a Diretiva de Grupo ampliará seu conhecimento pessoal sobre as "entranhas" e a operação de uma rede Windows e terá muito menos "partes móveis" "do que uma infra-estrutura VDI. Mesmo se você tivesse uma infraestrutura de VDI, francamente, acho que ainda seria capaz de aproveitar imensos benefícios do Group Policy-fu.
A entrega de aplicativos remotos e VDI é uma ótima solução para aplicativos muito específicos de tarefas ou entrega de aplicativos em conexões de rede lentas ou não confiáveis (pense em "banco de dados compartilhado do Microsoft Access em uma WAN baseada em T1"). Eu não acho que a virtualização de desktops, pelo menos na atual encarnação como um campo minado com base em taxas de licenciamento excessivo, seja "a resposta".
Eu vou até pular em um membro e dizer que, com a manutenção adequada de "cuidados e alimentação" de frotas muito grandes de computadores cliente que executam o Windows não é realmente tão difícil, usando as ferramentas internas do Windows Server , WSUS, bons conhecimentos de scripts e um entendimento de como o próprio Windows e seu software de aplicativo funcionam. Automatizar a compilação do seu computador cliente, removendo os direitos de administrador dos usuários e obtendo um controle sobre a infraestrutura de implantação do SO e dos aplicativos, fará com que você avance com rapidez.