Alternar janelas com o Alt pode ser feito adicionando:
# switch windows alt+number
bind-key -n M-1 select-window -t 1
bind-key -n M-2 select-window -t 2
bind-key -n M-3 select-window -t 3
bind-key -n M-4 select-window -t 4
bind-key -n M-5 select-window -t 5
bind-key -n M-6 select-window -t 6
bind-key -n M-7 select-window -t 7
bind-key -n M-8 select-window -t 8
bind-key -n M-9 select-window -t 9
para o seu ~/.tmux.conf
Isso é de: link
Mais ainda, para não fazer isso se o irssi estiver na janela ativa:
#switch windows alt+number, unless we are running irssi
bind -n M-1 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 1' 'send M-1'
bind -n M-2 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 2' 'send M-2'
bind -n M-3 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 3' 'send M-3'
bind -n M-4 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 4' 'send M-4'
bind -n M-5 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 5' 'send M-5'
bind -n M-6 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 6' 'send M-6'
bind -n M-7 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 7' 'send M-7'
bind -n M-8 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 8' 'send M-8'
bind -n M-9 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 9' 'send M-9'
bind -n M-0 if 'test 'tmux list-panes -F "#W"' != "irssi"' 'select-window -t 0' 'send M-0'
Que aproximadamente lê a chave Bind [sem exigir prefixo], para a ação de: verifique se o painel atual não está nomeado irssi e, se não estiver, selecione a janela apropriada, caso contrário, reenvie a chave, para que o aplicativo subjacente [irssi] possa obtê-la.