Reduzir um sistema de arquivos ext4 vazio é realmente muito rápido, mas você também está movendo o início da partição.
Agora, em vez de realocar a extremidade e cortá-la, todos os bits da partição grande devem ser deslocados na direção em que você moveu a partição. A partição é muito grande, por isso vai demorar muito tempo.
Você provavelmente deve recriar o sistema de arquivos porque está vazio para começar. Recriar o sistema de arquivos será muito rápido.