Este é realmente um bug no Pulseaudio.
Aqui é um relatório de bug recente sobre a situação, mas pode ser um dupe de este mais antigo (mas supostamente consertado).
Aqui está uma solução que você poderia usar. Crie um arquivo de texto e cole isso em:
#! /bin/bash
amixer cset iface=MIXER,name='Input Source' 1
amixer cset iface=MIXER,name='Output Source' 1
exit
Se é fato seu terceiro, você deve substituir os números finais nos comandos pelo número '2'. Se quarto, então '3'. E assim por diante.
Você pode então fazer um lançador no painel e clicar nele toda vez que conectar o fone de ouvido. É uma solução feia por enquanto, mas até que seja corrigida (ou seja, o Pulseaudio se lembra de dispositivos preferidos) não vejo muito mais o que você pode fazer.
Você poderia fazer alguma solução extrema maluca envolvendo escrever regras do udev ... mas vale a pena? ;)