Acho que é porque a tela por padrão no OSX tem apenas 8 cores, enquanto o peixe quer usar 256 (na verdade não é relacionado ao byobu, e é por isso que funciona quando você muda para o tmux).
Para que funcione, você precisa recompilar a tela com suporte a 256 cores. Você poderia fazer algo assim:
git clone git://git.savannah.gnu.org/screen.git
cd screen/src
./autogen.sh
./configure --enable-colors256
make
sudo make install
cp screen /usr/local/bin/ # this should have precedence over the default screen in yr path
parabéns pelo noivado;)