Você não pode usar --removemissing ou force delete VG se a área de metadados for igual a zero como no meu caso.
Crie o dispositivo de bloco a partir do arquivo e inclua no VG:
dd if=/dev/zero of=/tmp/tmp.raw bs=1M count=100
losetup -f
losetup /dev/loop0 /tmp/tmp.raw
vgextend $VG /dev/loop0
Depois disso, tenho Metadata Areas 1
vgremove $VG -force
e remova pvdevice pvremove /dev/loop0