Da página de manual do tmux:
kill-window [-a] [-t target-window]
(alias: killw)
Kill the current window or the window at target-window, removing it
from any sessions to which it is linked. The -a option kills all
but the window given with -t.
Então, no seu prompt de comando, tente:
$ tmux kill-window -a
Se você tiver uma janela que deseja preservar, inclua-a também:
$ tmux kill-window -a -t:<window number>