Eu acho que o impacto no desempenho é realmente mínimo para o LVM, exceto se você usar snapshots que podem ter um grande impacto - melhor se os snapshots forem usados apenas durante os backups. Esta resposta concorda.
Para uma discussão detalhada de problemas com o LVM, com alguma menção ao XFS, Advanced Format, RAID, etc, consulte Perigos e ressalvas do LVM