Não tenho certeza sobre o Xubuntu, tenho o Kubuntu.
Consegui que o som e o microfone dos meus headsets funcionassem abrindo um terminal com Ctrl + Alt + T e depois instalando com
sudo apt-get install pavucontrol
Inicie o pavucontrol digitando
pavucontrol
no terminal. Ele irá abrir uma janela de controle de som. Agora, certifique-se de que o duplex esteja ativado clicando na guia de configuração. Em seguida, procure o fone de ouvido e verifique se ele está definido como duplex analógico (ou duplex digital, se funcionar para você).
Você pode então testar seu microfone no próprio pavucontrol e depois no Skype. Não alterei as configurações no Skype, mas você pode ver se seu fone de ouvido é exibido depois disso.
Observação: estou postando esta resposta em uma postagem antiga, pois essa postagem apareceu quando procurei por respostas. Isso funcionou para mim e espero que possa ajudar alguém.