Esse comportamento parece ser intencional quando você está usando o tmux back-end para byobu (comportamento padrão).
Quando você executar byobu-screen , verá essa funcionalidade pronta para uso.
Se você olhar no arquivo /usr/share/byobu/keybindings/f-keys.tmux , você pode ver a linha que liga a chave F2 para abrir uma nova janela:
bind-key -n F2 new-window -c "#{pane_current_path}" \; rename-window "-"
O que você sabe? O homenzinho sorrateiro renomeia a janela para - quando é criada.
Você pode substituir esse comportamento adicionando uma linha ao seu arquivo ~/.byobu/.tmux.conf :
echo 'bind-key -n F2 new-window -c "#{pane_current_path}"' >> ~/.byobu/.tmux.conf
Por algum motivo, isso ainda não funciona na primeira janela.