As linhas de dados seriais RS232 não gostam de ser divididas. Eles não suportam conexões "multi-drop" semelhantes ao que você está tentando tentar.
Eles não funcionam porque os níveis de sinal RS232 esperam apenas um único receptor em cada lado e esse receptor tem uma impedância específica. Quando você conecta vários receptores, o nível do sinal é atenuado e fica fora da especificação. Como o sinal não é mais garantido para atingir o nível exigido, às vezes é detectado apenas como os níveis lógicos sendo transmitidos e você recebe lixo.
Se você quiser um método de comunicação multi-drop, então você precisará converter o sinal para outra coisa. RS485 suporta multi-drop e você pode comprar conversores RS232 para RS485 ou USB para RS485 que usam um protocolo de sinalização e método de terminação que é muito mais acessível ao seu caso de uso.