A página do manual tmux descreve a sintaxe da janela de segmentação aceita pelas opções swap-window -s e -t . Especificamente, você pode usar + e - para se referir aos números da janela seguinte e anterior.
Assim, você pode ligar < e > para mover as janelas para a esquerda e para a direita da seguinte forma:
bind-key < swap-window -t -
bind-key > swap-window -t +