Isso pode depender de como você inicia o byobu. Se você iniciar a partir do launcher como eu, então você pode seguir as instruções nesta resposta para adicionar o parâmetro "-u" para ele: Especifique parâmetros para o programa de inicialização .
Nota: a resposta de Dustin, infelizmente, não funcionou para mim por qualquer motivo. Se eu iniciei um terminal não-byobu, ele teria a configuração utf8 correta e se eu usasse o tmux, os caracteres apareceriam, mas não com o terminal do byobu.
Editar: para aqueles que editaram minha resposta para alterar o 'u' minúsculo para um 'U' maiúsculo que está incorreto. Um capital 'U' não é um parâmetro válido para entrada ao iniciar o byobu. Aqui está o texto no meu ícone de inicialização: "env TERM = xterm-256color byobu -u". Se você executar byobu -u a partir de um novo terminal (não de byobu) ele funcionará, mas se você executar byobu -U, ele mostrará uma mensagem clara de que o 'U' maiúsculo não é um parâmetro válido:
byobu -U
uso: tmux [-2lquvV] [-c shell-command] [-f arquivo] [-L socket-name]
[-S caminho do soquete] [comando [flags]]