Quando você seleciona seu diretório nas preferências, ele é revertido automaticamente para "vários locais". Isso ocorre porque há pelo menos um outro local definido automaticamente pela Loja de Música do Ubuntu One:
~/.local/share/ubuntuone/Purchased from Ubuntu One/
Agora, não exclua este diretório: -)
Você pode verificar quais diretórios são definidos como locais de bibliotecas abrindo o gconf-editor (pressione Alt + F2 e digite gconf-editor ), então navegue para apps → rhythmbox e verifique a chave "locais da biblioteca".
É assim que deve ficar depois de definir a localização da sua biblioteca para ~ / Music:
Eu recomendo que você apenas o deixe lá, e apenas use o gconf-editor para ter certeza de que não há outros locais definidos. Mas você também pode excluir a entrada da loja de música u1 (embora eu não ficaria surpreso se o plugin do Ubuntu acabou de ser adicionado novamente).
Caso você decida deletar o diretório, a entrada do gconf para ele, ou ambos, esteja seguro, sabendo que você não pode quebrar nada fazendo isso, mas também pode deixá-los estar; no caso de você decidir usar o Ubuntu One Music Store um dia. Eles não reduzem a velocidade do Rhythmbox; você nem vai saber que eles estão lá.