Você experimenta esse efeito como uma mistura do hardware e da mixagem de áudio.
Hardware
O seu conector de áudio é provavelmente uma conexão estéreo. Existem dois fios em seu cabo, e eles estão carregando um sinal de áudio cada um, que é separado no conectado / plug. Dê uma olhada na faixa preta no plugue (ou branco, se for um fone de ouvido do iPod!).
Ao conectar na metade do caminho, você só recebe um canal desse fluxo de áudio de dois canais. O artigo do wiki sobre conectores explica bem o hardware.
Mix de áudio
O áudio é tipicamente mixado em estéreo nos dias de hoje. Ainda é importante para um engenheiro de áudio considerar os vários ambientes de áudio, onde muitos rádios serão mono. Isto é curioso em 2013 para ver um monte de novos modelos de unidades de rádio lançadas com um único alto-falante mono. Neste caso, um sinal estéreo é somado como um sinal mono. Ambas as correntes são esmagadas juntas, de uma forma.
Mas, em grande parte, nossas mixagens estéreo exploram o formato estéreo para parecer interessante. Uma grande parte da mixagem de áudio é o posicionamento tanto à esquerda quanto à direita do ambiente de áudio percebido, e para frente e para trás pelo uso de coisas como o reverb. A melhor mistura de áudio "lugar" neste espaço de três dimensões de forma eficaz.
Um exemplo rápido; para a maioria das músicas favoráveis ao rádio, os vocais estarão em grande parte no centro. Bass também, este é outro elemento fundamental, e por razões de fase e alguns legados divertidos dos dias de corte de registros. Mas você notará que backing vocals, guitarras e kits de bateria são exibidos em todo o espectro. Ou até mesmo quantos discos dos Beatles teriam realmente um pan dramático; instrumentos inteiros duros garimpados.
Imagine o que acontece com seu sinal quando um desses canais cai?
O que você está ouvindo
Quando você apenas faz o patch da conexão de um sinal estéreo, você só faz parte dessa mixagem. Dependendo do patch de sua cadeia de áudio, isso pode ser apenas aquele canal que está chegando, ou então somando ou invertendo. A normalização afeta o caminho do áudio como este outro artigo do Wiki apresenta.
Mas o efeito que você menciona é provavelmente um produto de inversão. O artigo a seguir mostra como você pode fazer isso com um editor de áudio e dá uma ideia geral do que está acontecendo. No seu caso, o canal central está sendo invertido.