O principal fator é o número de canais de memória, e que você tenha pelo menos o máximo de memória RAM que você tem nos canais de memória. Isso geralmente é dois canais, mas a plataforma high end da Intel veio com três canais.
Supondo que você tenha dois canais, e a maioria de todos, ter pelo menos dois palitos é importante. Ir de dois para quatro tem um efeito muito menor, mas existe um. Colocá-lo em até quatro palitos significa que você (bem, o BIOS faz isso por você) tem que afrouxar um pouco os tempos. A principal delas que afeta o desempenho é a taxa de comando, que você pode ser, com boa memória RAM, ser capaz de manter a 1T com apenas dois palitos, mas você terá que bater até 2T com quatro. Então, nesse sentido, 2x2GB é preferível a 4x1GB. Mas a diferença de desempenho é menor e é improvável que você perceba isso.
Existe um outro fator de compensação. RAM de densidade mais alta é geralmente mais lenta que a RAM de menor densidade. Você ainda pode obter módulos de 2 GB tão rápidos quanto conseguir módulos de 1 GB, mas precisa estar disposto a pagar um pouco mais. Mesmo assim, a diferença de desempenho seria tão pequena que é imperceptível em todas as tarefas, exceto as mais sensíveis à largura de banda.
TL; DR: Dois contra quatro paus não farão diferença real no desempenho. Com apenas dois palitos, você terá mais facilidade para adicionar mais RAM, se desejar posteriormente.