Você pode usar a opção tmux set-titles
No meu .tmux.conf eu tenho a seguinte linha:
set-option -g set-titles on
Você precisará reiniciar o servidor tmux (matar as sessões existentes) ou re-source o arquivo antes que a mudança na sua configuração tenha efeito. Você também pode executar isso para uma sessão existente com <prefix>:set-option set-titles on