O LVM é a melhor maneira que eu penso, certifique-se de criar um Grupo de Volume (VG) que contém todos os seus Volumes Físicos (PV, ou seja, suas partições), e então você pode dividir o VG em vários Volumes Lógicos (LV) para sua necessidade.
O LVM não é fácil de entender no início, e uma imagem pode ajudar:
Eu também vi o mdadm usado junto com o LVM. O mdadm fornece um sistema RAID de software para reunir as várias unidades. Se é para fazer um sistema RAID0 (discos listrados), pode não valer a pena, mas fica interessante se você quiser ter um RAID1 (mirror) com suas duas unidades, e ainda usar o LVM em cima dele.