Não, não importa o quanto as prioridades sejam diferentes.
Mas, de qualquer forma, a priorização de áreas de troca é útil apenas se elas forem de velocidade diferente. Desde que o kernel 2.6, mesmo os arquivos de swap são tão rápidos quanto uma partição swap. Se você definir as mesmas prioridades para trocar partições, o kernel distribui as páginas de forma semelhante ao raid 0, resultando em um melhor desempenho de swap.
Normalmente, não é necessário mexer com a troca, pois o kernel do linux faz um bom trabalho ao gerenciá-la.