O comando tmux para prefix + ,
pode ser visto na lista de comando, que é exibida quando você pressiona prefix + ?
O padrão deve ficar assim:
bind-key , command-prompt -I #W "rename-window '%%'"
Apenas corte a parte '-I #W' para obter o valor vazio como sugestão padrão ao renomear.
Isto é, coloque esta linha no seu tmux.conf:
bind-key , command-prompt "rename-window '%%'"
e recarregue a configuração do tmux / reinicie o tmux