Há um impacto no desempenho, mas na maioria dos cenários do mundo real isso deve ser insignificante - você provavelmente teria que executar benchmarks de RAM para ver a diferença.
Observe também que todos os sistemas baseados em Intel 1 suportam dual-channel assíncrono, o que no seu caso significaria que 1 + 1 GB funcionaria no modo de canal duplo e somente os 3 GB restantes (do stick de 4 GB) estaria no modo de canal único. Isso torna a diferença de desempenho ainda menos perceptível. Nota: isso pode não se aplicar a você se você tiver um sistema baseado em AMD, mas achei que valeria a pena mencionar independentemente disso.
Desde que você realmente precise de 5 GB de RAM, eu diria que vá em frente.
1 A maioria dos sistemas de 2004 ou posterior, e definitivamente todos que suportam RAM DDR3.