Sim, sua compreensão está correta.
Um Grupo de Volume (VG) compreende Volumes Físicos (PV). Se os PVs estiverem em um VG, eles não poderão ser colocados em outro grupo de volume.
Portanto, se você quiser criar vários grupos de volumes, precisará de PVs separados para eles. Como você observou, é possível compartilhar um disco físico entre VGs, mas ele precisa ser particionado e os PVs criados a partir das partições e colocados em grupos de volumes separados.