Os servidores da Microsoft (especialmente o SQL Server) tendem a alocar automaticamente a maior quantidade possível de memória disponível para melhor armazenamento em cache / desempenho, o que muitas vezes confunde as pessoas em pensar que o sistema está com pouca memória. Sob tais condições, isso é um comportamento normal.
Tenha em mente que os servidores da Microsoft precisam de, pelo menos, 1 GB de RAM para executar um conjunto mínimo de aplicativos / sites (enquanto que as caixas baseadas em Linux podem usar apenas 128 MB para servidores Apache básicos). Quanto mais aplicativos / serviços você adicionar, mais memória RAM será necessária. Pode haver outros serviços que você pode desativar para fornecer mais RAM disponível.
Com base na sua descrição, é mais provável que seja o ambiente de hardware em que seu servidor está causando a lentidão. Os servidores VPS são executados em um ambiente de hardware compartilhado, o que significa que sua instância virtual está compartilhando a mesma CPU física ou CPU com várias outras instâncias virtuais.