O USB é mais uma interface baseada na CPU, mais do que sua NIC ou disco rígido. O host deve orquestrar e estar envolvido na maioria das transações USB. O Firewire é capaz de mover dados sem a assistência do host, e essa é uma das suas vantagens em relação ao USB.
Existem padrões mais recentes, como o OTG USB, que fornecem esse recurso, mas não tenho certeza se ele pode ajudar no PC para velocidades de transferência periféricas (é possível permitir que dois periféricos USB se conectem sem um PC no meio Eu não estou enganado). Se você estava usando uma unidade USB 2.0 padrão em um chipset USB 2.0 padrão, isso não pode ser um fator.
Se você tiver um software antivírus, DRM ou de criptografia interceptando cada operação de leitura e gravação que também pode desempenhar um papel.