A partir do que você descreveu, parece uma das duas coisas: o conector não encaixa bem ou o conector é "especial".
Por "especial" quero dizer, existem alguns fornecedores (por exemplo, fones de ouvido Nokia), que, para acomodar o sinal do microfone, eles criam uma nova banda dentro do conector, às vezes alongando-a ligeiramente.
Algumas portas que estão em conformidade com os conectores regulares dificultam a adaptação adequada desses tipos de conectores e, como tal, a conexão entre o macho e a fêmea não é perfeita. Como tal, a corrente não passa corretamente e a força do sinal (o que você ouve) é atenuado e / ou distorcido.
A solução é o que você tentou: apenas dê uma pequena margem de segurança e não conecte completamente a tomada. Não é a solução perfeita, no entanto.
Se o problema é o fio (de acordo com o que você descreveu, não é) ... você pode tentar "espremer" todo o cabo. Às vezes funciona, na maioria das vezes isso não acontece. O lugar que a maioria dos fones de ouvido quebram é a conexão entre os fios e o conector. Nesse caso, embora você possa tentar e soldar os fios para um novo conector (há muitos vídeos do Youtube, pesquise-os), já que os fios têm algum tipo de malha fina para isolá-los (além de serem muito finos) eles não vão soldar bem com o macaco.