Além do fato de que acessar o drive via USB é inerentemente mais lento do que via SATA (isto é, um HDD "normal" ou especialmente SSD será visivelmente / muito mais rápido que um drive USB), uma causa de sua configuração atual ser mais lenta seja desalinhamento de partição. Não tenho certeza se as unidades flash USB são diferentes, mas geralmente as unidades SSD têm grandes setores físicos, por isso é importante que as partições estejam alinhadas com o início de um setor físico.
Você pode usar gparted
para verificar se as partições estão alinhadas e realinhá-las, se necessário (você precisará inicializar a partir de outro USB para fazer alterações no atual)
UPDATE: Uma maneira de verificar se uma partição está alinhada no gparted é clicar com o botão direito do mouse na partição, selecionar Informações no menu e marcar o parâmetro Primeiro setor lá. Certifique-se de que o número existe um múltiplo de um ... err ... fator de alinhamento. 1024 (1MB) é um bom número para usar ... então apenas certifique-se que é um múltiplo de 1024:
Tenho certeza que a ausência de troca não deve tornar as coisas mais lentas - mas você não poderá usar mais RAM do que fisicamente.
As partições lógicas são tão rápidas quanto as principais, desde que todas estejam alinhadas corretamente.