Se você estiver usando o tmux 1.7, você pode usar a opção renumber-window
:
renumber-windows [on | off]
If on, when a window is closed in a session, automatically renumber the other windows in numerical order. This respects the base-index option if it has been set. If off, do not renumber the windows.
Definindo isso no seu .tmux.conf
da seguinte forma:
set -g renumber-windows on
significa que a janela de fechamento # 2 irá renumerar a janela # 3 para # 2 e abrir uma nova janela irá colocá-lo em # 3.