Você não pode fazer isso com sucesso, a menos que o amplificador tenha duas entradas, o que é improvável. Veja Enganchar dois computadores em um alto-falante? (embora no seu caso possa funcionar se a placa de som não utilizada definir sua saída para alta impedância)
Você precisa de um switch ou mixer. O mais fácil é levar as conexões para a frente com cabos de extensão para que você possa conectar de um para o outro.