O que você está descrevendo é um problema mecânico. A ponta do plugue é o canal esquerdo. O final é em forma de bolbo e o contato se encaixa por trás disso. É provável que seja uma das duas coisas.
Os contatos dentro do conector podem ficar dobrados ou fatigados e perder sua elasticidade. Não é fácil fazer muito sobre qualquer um deles, se esse for o problema, exceto substituir o conector, e esse não é um trabalho trivial.
A outra coisa é que nem todos os plugues são fabricados exatamente iguais. Alguns são ligeiramente mais curtos, têm uma lâmpada menor na ponta ou a lâmpada tem um formato diferente, ou a alça moldada pode impedir que a tomada entre até o fim. Para essa questão, a tomada pode estar fora da tolerância. Qualquer uma dessas coisas pode impedir que o contato da ponta se encaixe e faça uma boa conexão. Por tentativa e erro, você pode encontrar um cabo de extensão de fone de ouvido, um adaptador ou um plugue de substituição que seja mais adequado para o conector.
Se você encontrar esse plugue de substituição, use-o para fazer um adaptador ou extensão e conecte os fones de ouvido nele. Não tente substituir o plugue nos fones de ouvido. O cabo geralmente tem um tipo de fio que é muito difícil de trabalhar para fazer novas conexões.