Encontrado.
O problema foi que pulseaudio viu meu microfone mono como estéreo. Eu só tive que silenciar um canal (clique no bloqueio para desativar um canal para ter o mesmo volume que o outro). Além disso, o Skype reduziu automaticamente o volume do microfone para quase 0. Desativei isso nas preferências de áudio do Skype para ter um volume de microfone fixo.
Tipp:
Tente não ajustar o volume do microfone com as preferências do som do Ubuntu, pois isso tornaria o microfone de volta a um som estéreo.