A troca de usuário requer recursos adicionais para manter as contas de usuário ativas.
Para acelerar, você precisaria de mais RAM, pelo menos. Para aumentar ainda mais o desempenho, um disco rígido mais rápido ajudaria a recuperar dados do arquivo de paginação. Além de uma CPU mais rápida.
Estes "upgrades" são muito genéricos e aceleram todo o seu sistema.
Como alternativa, você pode desativar os serviços do Windows que não são necessários (Indexação, ReadyBoost, Hibernação, SuperFetch) executados por usuário.
Para ver quais serviços estão sendo executados por usuário, basta abrir o gerenciador de tarefas e selecionar serviços.
Você pode classificar por Status e Grupo para filtrar quais serviços estão em uso e quais não pertencem a nenhum grupo.
Para controlar quais serviços e aplicativos são executados na inicialização ou no logon, o que usaria recursos do sistema, você pode fazer o seguinte
WindowsKey + R - > Digite "msconfig"
Você pode gerenciar todos os aplicativos de inicialização, entradas de registro e serviços aqui.