Eu tenho corrido feliz por anos. No XP swapless em 1GB é factível e 2GB confortável; no Vista, você pode considerar aumentar até 4 GB primeiro. A RAM é barata, a troca é lenta. OK, o swap ainda tem propósito para armazenar processos em segundo plano inativos, mas se você puder, é melhor apenas matar os processos em segundo plano que você não precisa.
Se você tem certeza de que o uso nunca ultrapassa 1,5, tudo bem, mas isso não é muito espaço para grandes alocações temporárias que você pode não ter notado.