Você tem a ideia certa. Os comandos específicos são:
1) mdadm -fr /dev/mdxx /dev/sdXX
2) pvcreate /dev/sdXX
e vgextend vgname /dev/sdXX
3) pvmove /dev/mdxx
4) mdadm --stop /dev/mdxx
e pvcreate /dev/sdXX
(a unidade outra ) e vgextend vgname /dev/sdXX
e finalmente lvconvert -m 1 vg/lv
para cada lv que você deseja espelhar.