Talvez o mapeador de dispositivos esteja "roubando" esse dispositivo. Tente isto:
[root@host ~]# dmsetup ls
sdb (253, 2)
VolGroup00-LogVol01 (253, 1)
VolGroup00-LogVol00 (253, 0)
Se você encontrar o dispositivo sdb listado como exemplo acima, remova-o usando o dmsetup e crie o volume físico:
[root@host ~]# dmsetup remove sdb
[root@host ~]# pvcreate /dev/sdb
Physical volume "/dev/sdb" successfully created