Como apontado nos comentários, o desempenho da CPU não será afetado per se, ele simplesmente acessará a memória mais devagar (mas ainda tão rápido quanto a memória e qualquer interconexão associada permitir).
Em relação ao desempenho, como também observado nos comentários, o sistema ficará mais lento no geral, mas em que grau (insignificante ou não) é um palpite. Da mesma forma, se você "perceberá" essa redução de velocidade não é algo que possa ser facilmente respondido, exceto tentando.