A resposta é que provavelmente não está atrasando nada. No entanto, existem muitas declarações qualificadas que precisam ser aceitas. Jakub deu um bom exemplo de um caso em que isso poderia atrasá-lo.
Outro caso em que seria mais lento é se o seu volume D estiver na mesma unidade física que C, e suponha que sua partição C esteja mal preenchida (e massiva), com D sendo no final da unidade. Isso pode causar um impacto no desempenho, já que muitos discos rígidos magnéticos (não SSDs) têm tempos de ioes mais lentos ao acessar os locais de armazenamento no final da unidade. Quero dizer, um pouco mais devagar também. Depende da unidade, é claro. Ainda assim, isso deve ser um efeito mínimo.
A sua partição / volume D está na mesma unidade física que o seu C? Se não, com toda a probabilidade, provavelmente você está experimentando uma leve melhora no desempenho.
Essa pessoa que disse que iria desacelerar o sistema se qualifica por qual razão?