Na verdade, encontrei a resposta, eventualmente, aqui: lvm2 Faq
Eles são identificados por uuids sempre, mesmo se você os criar usando nomes de dispositivos e, portanto, serão resilientes se os dispositivos forem renomeados devido à renumeração de dispositivos
Descobri que precisava reiniciar quando alterei os números dos drives alterando os dispositivos usb para que as novas posições usadas pelo lvm, executando vgscan, lvscan ou pvscan não atualizassem os volumes.
FWIW usando o LVM em vários dispositivos USB é uma má ideia. Eu só estava fazendo isso porque estava preso e não tinha opção.