Os módulos de memória de tamanhos diferentes, mas com especificações idênticas, devem ter a mesma velocidade.
O sistema é outra história. Por causa do acima, não há nenhuma maneira que os módulos de 4 8 GiB poderiam ser mais lentos que os módulos de 2 GiB. Se o seu computador for mais rápido com 32 GiB de RAM do que seria com 8 GiB, depende se o seu sistema estará usando mais de 8 GiB, ou seja, os aplicativos que você estará executando.
As CPUs de nível de consumidor mais atuais têm uma arquitetura de memória de canal duplo, o que significa que os módulos de memória devem sempre ser instalados em pares (2 ou 4). Como apontou @David Schwartz, dois módulos devem ser um pouco mais rápidos que quatro (embora eu não ache que houvesse uma diferença notável, mas usar apenas dois módulos também deixa espaço para futuras atualizações.
Mantendo tudo isso em mente, 2 módulos GiB fazem sentido do que 4 módulos GiB. Além disso, eles provavelmente são mais baratos. O mesmo vale para 2 8 módulos GiB vs 4 módulos 4GiB.