Desde que este não seja um soquete "snap-in", existem alguns soquetes que são conectados apenas aos pinos que eles cercam por meio de pressão. Então, se o plugue estiver segurando o soquete mais do que o soquete aos pinos, pode acontecer de você puxá-lo para fora junto com o cabo.
Você pode se arriscar a puxar a tomada (você não deve destruir sua placa-mãe aqui, porque os pinos estão soldados nela) e colocá-la de volta. Ou você tenta apoiar o soquete com a ajuda de um item pequeno, mas sem corte (para não arranhar sua placa-mãe) enquanto retira o cabo.
Eu nunca tive esse problema com o SPDIF, mas com outros conectores pequenos semelhantes.
E btw: não há perguntas estúpidas;)