A má notícia é que você não pode desde que o seu PC está encaminhando a chamada.
Como uma espécie de solução, instalei um Skype em um pequeno Homeserver meu para poder me chamar antes da chamada em conferência e depois convidar os outros participantes, dessa forma o servidor é o host real e eu posso sair a qualquer momento enquanto servidor ainda mantém a conferência.