O sistema de arquivos ext3 faz uso de um esquema de mapeamento de bloco indireto, que tem que manter o controle de todos os mapeamentos de bloco. Isso é muito mais lento para excluir arquivos grandes do que sistemas de arquivos usando um esquema baseado em extensões, como ext4.
Eu não consigo falar com o NTFS, mas presumo que faça uso de extensões.
Existe outra pergunta relacionada a isso em ServerFault .