A impressora nunca confundirá as portas USB e de rede. Os portos são servidos por ordem de chegada. A impressora iniciará em qualquer porta que estiver ativa primeiro e informará a qualquer outra porta que espere.
Encontrei uma falta de velocidade similar com o CM305DF da Xerox. Digitalização em rede (e impressão) é inaceitavelmente lenta, então eu uso o USB. Enquanto a impressora e o PC operam o 1000Base-TX, meu roteador está limitado a 100-Base, então esse pode ser o problema. Eu relatei isso à Xerox, mas eles não conseguiram encontrar uma resposta além de "o usb é mais rápido que a rede".
Como o @ultrasawblade aponta, isso significa que eu tenho 2 drivers, mas configurei o driver USB como padrão para impressão e digitalização. Se ainda houver confusão, você pode facilmente renomear o driver de rede para algo como "não usar".