Você deseja usar a opção de sinalizadores de janela na sua personalização, que é #F
.
Note que este é o mesmo sinalizador para indicar que uma janela está ativa, etc. Não sei como mostrar o indicador de zoom, mas não mostrar os outros indicadores gerais de status da janela.
Você pode conferir a seção Formatos na man page do tmux para a lista completa de opções.