Não é verdade que o USB é lento no Ubuntu. Não é nem comum. Na verdade, acho que esta é a primeira vez que ouvi falar disso.
Eu uso um computador diferente do que você. O mesmo acontece com a maioria das outras pessoas. Você já disse a alguém que é lento no seu computador? Porque ninguém pode consertar problemas se eles não sabem que você tem um. E ninguém pode fornecer uma resposta precisa para isso sem saber que computador você possui ou o que você fez para corrigi-lo.
No entanto, isso soa como um problema de driver. Você pode tentar instalar o kernel mais recente: link . Isto não removerá o kernel antigo, então é completamente seguro instalá-lo. Você ainda poderá inicializar o kernel antigo. Ele será adicionado ao seu menu de inicialização.