Você não pode. A partir da fila de reprodução, você só pode remover o arquivo da fila, pois é uma lista temporária das músicas que você escolheu para ouvir. A lista real de músicas está na opção Music
nesta foto você vê a seção Música à esquerda. Na lista abaixo é onde você pode excluir arquivos. Clique com o botão direito do mouse sobre eles e mova para o lixo, por exemplo. Isso irá removê-lo. Mas para não ter da fila e remover você precisa removê-lo do Queue e o delete como eu falei na seção Music.