É muito simples. Os auscultadores com microfone não são compatíveis com a única tomada de auscultadores.
Os fones de ouvido com microfone usados com o telefone tem 4 passos. A configuração padrão é CTIA ou OMTP. A dica é o áudio L, o próximo passo é o áudio direito, o terceiro passo é o terra (ou pode ser o microfone) e o 4º passo é o microfone (ou terra).
Por outro lado, o conector de fone de ouvido é compatível apenas com 3 pinos, áudio L, áudio R e terra.
A razão pela qual você tem um som horrível por causa desses dois últimos passos. Quando você pressiona o botão do microfone, ele fica curto com o microfone, o que faz com que o fone aja como um fone de ouvido sem microfone.
Isto não tem nada a ver com o Ubuntu. Problema de hardware puro. Você precisa obter um splinter de 4 pinos a 3 pinos, como abaixo, ou se tiver esse problema semelhante em um celular, experimente a segunda foto