A menor quantidade de espaço que pode ser alocada no disco é chamada de "setor" - historicamente tem 512 bytes, mas os discos rígidos mais recentes têm setores maiores de 4096 bytes (embora eu não tenha certeza se "setores lógicos" são 4096 bytes também ou eles ainda são 512 bytes).
Portanto, se você tiver um arquivo com apenas 1 byte, ele ainda ocupará 512 bytes no disco.
A maioria dos arquivos é muito maior que alguns bytes, então a diferença é geralmente de apenas alguns por cento. Não tenho certeza se você tem centenas de milhões de arquivos minúsculos na sua pasta Downloads, mas isso explicaria esse comportamento.