Resposta curta: tamanho do bloco
Resposta mais longa: A unidade USB provavelmente tem um tamanho de bloco maior que o seu disco rígido. Os sistemas de arquivos, por sua própria natureza, são incapazes de usar apenas partes de um bloco, e o resultado é que um bloco inteiro é usado mesmo que a quantidade de dados seja apenas uma fração do tamanho do bloco.
Como você tem, como você diz, "um monte de arquivos de texto ASCII", isso amplifica o problema, pois geralmente são muito pequenos. Por exemplo, se o tamanho do bloco for 16Kb, um arquivo ocupará pelo menos esse espaço, independentemente do tamanho real.
você pode ver o tamanho do bloco de partições com este comando (requer raiz):
blockdev --getbsz /dev/XXXX
.... onde XXX é o nó do dispositivo da partição.