Não, não vai, por padrão. Eu não estou ciente de qualquer plugin para fazer a tarefa também. O plugin que está com o Rhythmbox, pode te dar as capas para ele. Se você quiser marcar suas músicas, eu recomendo que você use o MusicBrainz Picard. Abra um terminal no menu > Acessórios > Terminal e digite o seguinte:
sudo apt-get install picard
Para começar a usar tags, leia o manual (com capturas de tela) fornecido no site Picard