Isso foi corrigido em 16.04 pelo menos na minha caixa.
A pegadinha é que o pavucontrol agora lembra qual aplicativo tem qual coletor de som padrão e qual coletor de som de fallback. Então, eu posso optar por definir meus fones de ouvido USB como um out e o on-board como fallback, para que eles se acostumem se os fones de ouvido forem desconectados (acho que é o contrário - USB especificado como um fallback, mas eles chutam quando conectado), mas é específico do aplicativo.