Se você (instalar e) executar unity-tweak-tool , em "Aparência - > Temas", poderá selecionar um tema GTK. Na minha máquina, há três temas disponíveis: Ambiance (padrão, o que você está vendo), Highcontrast e Radiance. Ambiance e Radiance têm o problema que você notou, enquanto Highcontrast não, então é verdade que o Rhythmbox está pelo menos fazendo algo para o botão que alguns GTK temas estão dispostos a mostrar . Parece que os temas Ambiance e Radiance fazem parte do pacote light-themes do Ubuntu, então você pode reportar um bug lá e ver o que dizem seus mantenedores.