Sim, isso pode ter impacto negativo.
Um canal IDE / ATA / PATA só pode lidar com um pedido, para um dispositivo, de cada vez. Se ambos os dispositivos estiverem sendo usados simultaneamente, suas solicitações serão intercaladas de forma que o primeiro dispositivo seja acionado enquanto o segundo aguarda, então o segundo dispositivo irá embora enquanto o primeiro aguarda.
Ainda assim, em condições do mundo real, talvez você não veja diminuição no desempenho. Com que frequência você usa os dois dispositivos intensivamente ao mesmo tempo?
Algumas boas leituras sobre o assunto: