Clique com o botão direito do mouse em um arquivo MP3 e, no menu, selecione "Propriedades".
Na janela que aparece, vá para a guia "Abrir com" e selecione VLC. Clique no botão "Definir como padrão" para definir o VLC como o player padrão.
Você também pode querer definir o player padrão no menu de som: