O / zero -Tag é na verdade um nome de arquivo. O comando apenas copia zeros do arquivo virtual /dev/zero (número infinito de zeros) para /mnt/hdb/zero até que o disco esteja cheio ou algum outro erro ocorra.
É por isso que você precisa remover o arquivo /mnt/hdb/zero depois para recuperar o espaço não utilizado.
No entanto, uma maneira melhor de preencher espaços livres com zeros (em sistemas de arquivos ext2,3,4) é usar uma ferramenta chamada zerofree.