A julgar pela resposta dada aqui , é mencionado que "Private Bytes são uma aproximação razoável da quantidade de memória que seu executável está usando".
Isso tem o maior impacto entre os 3 no desempenho do seu processo. O impacto em seu sistema (ou sistema operacional, já que estamos falando sobre processos aqui) tem muito a ver com a quantidade de memória que o usuário possui para processos (estou falando sobre processos que foram iniciados por você).