A solução foi executar o dmsetup, neste caso os dois comandos
dmsetup remove vg04-vz
dmsetup remove vg04-swap
Antes de fazer isso, verifiquei com o comando 'dmsetup info' que a 'contagem aberta' para ambos os LVs era zero.
ATENÇÃO: O dmsetup pode causar sérios danos aos seus discos para que qualquer pessoa que use esta informação no futuro, por favor, leia a man page.