Does this mean that for example 1TB HDD is actually bit larger than 1TB if all the metadata associated with each sector is included?
Sim.
Aparentemente você é jovem demais para lembrar o passado, quando discos rígidos e disquetes (também conhecidos como disquetes) eram comercializados com a "capacidade total não-formatada". Os usuários finais reclamaram que esse era um número enganoso, porque depois que o drive / disquete era formatado, a capacidade de armazenamento utilizável era muito menor do que o número "total". (Outra reclamação foi o uso de versões decimais versus binárias dos multiplicadores K e M que continuam até hoje.)
Depois que o controlador de disco rígido Western Digital foi realocado da placa adaptadora de PC para o HDD (usando uma nova interface IDE), o próximo passo foi redefinir a interface de software com ATAPI, que oferecia endereçamento de setor lógico (em vez de CHS) . Eventualmente, os fabricantes eliminaram a capacidade de setor flexível de seus HDDs devido ao uso onipresente de setores de 512 bytes liderados pelo domínio dos PCs da Wintel.
Como o típico HDD moderno é provavelmente setorizado em vez de setorizado, a quantidade de capacidade de disco relegada a lacunas e metadados deve ser irrelevante para o usuário. A capacidade de armazenamento utilizável é o número relevante e não pode ser alterada por um formato de baixo nível que não é mais fornecido.
Are those sector-gap, ECC, etc fields proprietary for each manufacturer so that there is no standardized length for those fields?
Agora que o controlador de disco foi incorporado à unidade de disco, sim, sim.
A "capacidade total não formatada" é um número irrelevante para o usuário final quando você perdeu a capacidade de formatar o disco em nível baixo, e o dispositivo de armazenamento tem uma interface de alto nível (como ATAPI) que permite ocultar o implementação de armazenamento de baixo nível.
Uma das razões para lacunas é descrita em esta resposta .