Sim, e não é muito diferente de alterar a cor da barra lateral elementar do Nautilus.
Adicione o seguinte ao seu arquivo ~/.gtkrc-2.0
(crie um, se ele não existir):
style "rb-sidebar"
{
GtkTreeView::even_row_color = "#F2F1F0"
}
widget_class "*RBSourceList*" style "rb-sidebar"
Em seguida, mude para um tema diferente e, em seguida, volte para o antigo.
Como você pode ver na imagem abaixo, há uma borda ao redor da barra lateral no Rhythmbox, diferentemente do Nautilus-Elementary, mas a combinação de cores melhora a aparência do Rhythmbox, na minha opinião.