Eu não acho que o Rhythmbox copie arquivos de música de MP3-players se o usuário não tiver dito isso.
O que você viu foi o Rhythmbox examinando sua pasta de músicas. É o comportamento padrão do Rhythmbox assistir a esse diretório e certificar-se de que todos os arquivos de música nesse diretório estejam em sua biblioteca de músicas. Ele não move, nem remove ou importa arquivos de música, apenas adiciona arquivos à sua biblioteca na pasta Música, para que você possa reproduzir as músicas no Rhythmbox.