Não tenho conhecimento de qualquer requisito de que o espaço de troca seja contíguo no disco no Linux, com o LVM ou de outra forma. Eu nunca organizei para que meus LVs de swap sejam contíguos e nunca tenham tido nenhum problema (é possível que todos os meus LVs de swap tenham sido contíguos, eu nunca procurei).
O Linux suporta arquivos de swap não contíguos, seria estranho ter tal restrição em volumes LVM. Eu não consigo encontrar qualquer referência a isso em qualquer documentação oficial ou alguém explicando porque os LVs de swap devem ser contíguos. Isso tem todas as características de uma lenda urbana.
A origem pode estar no HP-UX, do qual o LVM do Linux é parcialmente inspirado, e qual (não?) requer que o espaço de troca seja contíguo. Eu não sei se isso já aconteceu no Linux.
Pode haver um benefício de desempenho percebido, mas com extensões de 4 MB, duvido muito que haja algum benefício de desempenho e não encontro nenhum benchmark.
Se você tiver grupos de volumes que abranjam vários discos, talvez seja necessário restringir o PV em que o swap LV está ativado. Mas eu não precisaria de um volume contíguo.