Em primeiro lugar, o Bluetooth é apenas um protocolo de transmissão e não tem nada a ver com a forma como o áudio é codificado ou comprimido. O próprio Bluetooth não reduz a qualidade do áudio, apenas transmite áudio digital. Como o áudio digital é, por definição, comprimido, é impossível que o Bluetooth (ou qualquer outro protocolo de transmissão digital) tenha um desempenho melhor do que um cabo analógico AUX.
O que reduz a qualidade do áudio é a compactação aplicada a ele antes de ser enviada para o fone de ouvido via Bluetooth. Agora, com isso dito, isso significa que o codec usado para transformar o áudio é a parte crucial. Um codec realmente bom (e talvez também o melhor), é o Qualcomm aptX HD que suporta áudio digital de até 44 bits de 44kHz, que é de muito boa qualidade e, basicamente, o melhor que você poderia pedir hoje em dia. Você pode pesquisar no Google para descobrir quais fones de ouvido suportam e como usá-lo.
Isso pode ser comparado com a qualidade de um cabo AUX? Bem, depende do que você está jogando! Se você reproduzir qualquer faixa que seja compactada digitalmente para menos ou igual a 24 bits a 44kHz, não haverá diferença, pois tanto o AUX quanto o BT podem reproduzi-lo, mas se você tocar qualquer coisa com uma taxa de bits maior ou uma taxa de amostragem maior então o AUX sempre vai ganhar.