A maneira mais fácil de zerar o espaço não utilizado é montar a imagem, preencher o espaço com zeros e remover o arquivo preenchido com zero.
mount -o loop /path/to/image /mnt
cat /dev/zero >/mnt/zero
rm /mnt/zero
umount /mnt
Dependendo do sistema de arquivos, pode haver ferramentas que funcionem diretamente na imagem. Veja esta pergunta para ext2 / ext3 / ext4 (resposta: zerofree ).