O FAT32 é um sistema de arquivos antigo que é incrivelmente simples e robusto. O EXT3 é um sistema de arquivos mais recente e com registro de diário, o que significa que rastreia as alterações. Não tenho certeza de como o registro no diário é implementado no disco, mas imagino que haja algumas palavras de cada bloco que precisam ser gravadas quando a unidade for formatada. Esse disco IO é provavelmente o que está causando a espera. Os artigos da Wikipédia para EXT3 e FAT parece ser muito bom se você quiser aprender mais.