Todo o IO de todas as unidades ainda precisa ser espremido através da porta USB única, portanto, se você estiver tentando acessá-las ao mesmo tempo, o desempenho será ruim. Se você está acessando apenas um de cada vez, então não será diferente apenas porque há outras unidades conectadas, mas que não estão sendo acessadas no momento.