Deveria. Sistemas Operacionais usarão memória física e, em seguida, começarão a trocar (usando uma seção do seu disco rígido como memória extra para evitar ter que negar solicitações de alocação de memória). O swap é extremamente lento em comparação com a RAM, por isso é melhor ter RAM física suficiente para evitar a troca.
Se o seu sistema estiver usando 1172 MB de RAM, ele continuará usando aproximadamente a mesma quantidade, já que está executando os mesmos aplicativos, independentemente da quantidade de memória que realmente possui. Por exemplo, se você tivesse apenas 1024 MB no total, os 150 MB extras acabariam sendo trocados. Ao atualizar para um total de 4.096 MB, você pode esperar ter aproximadamente 3 GB de memória livre, o que evitará que o swap se torne um gargalo e torne o servidor mais lento.
Para responder sua segunda pergunta nos comentários; Atualmente, a maioria das placas-mãe suporta memória "dual-channel", onde módulos de memória instalados em pares podem ser acessados simultaneamente para melhor desempenho. Placas-mãe muitas vezes têm slots de RAM em pares de cores, e a intenção é que, se você estiver adicionando dois sticks a uma placa-mãe com quatro slots, deverá usar dois dos mesmos slots coloridos.
Para ter certeza de obter a RAM certa, é melhor procurar o modelo da sua placa-mãe e verificar se ela é compatível com a memória. Ele listará um tipo (como DDR3), um conjunto de velocidades suportadas (algo como PC1333) e possivelmente alguns outros detalhes. Alguns servidores exigem RAM ECC, que é mais lenta, mas tem tolerância a falhas - a maioria dos servidores de baixo custo e PCs domésticos usam não-ECC. Alguns fabricantes até listam as marcas e modelos exatos da RAM testada e suportada (isso é mais comum para os servidores), o que significa que, se você comprar um modelo testado / suportado, deverá ser muito seguro.