O Rhythmbox não coloca um ícone na Área de notificação, em vez disso, coloca o ícone no miniaplicativo indicador, portanto, adicione isso ao seu painel:
Clique com o botão direito do mouse em um espaço vazio no painel, selecione "Adicionar ao painel ..." e arraste o miniaplicativo indicador para o painel.