Você pode tentar conectar todas as três saídas nos fones de ouvido ... Acho que deve ficar bom, contanto que apenas um deles faça o som ao mesmo tempo. Basicamente, obtenha dois dos esses divisores e possivelmente alguns extensões dependendo da distância entre os seus dispositivos. Você pode precisar de alguns cabos extras ou diferentes para lidar com o microfone, mas você deve ter a ideia do que estou sugerindo.
Outra possibilidade: direcione o som dos seus telefones para o seu PC e, em seguida, conecte um fone de ouvido ao PC. (Use um fio para o telefone de mesa e bluetooth para o celular)