Sua melhor opção é projetar o protocolo para que a mensagem inclua algum tipo de identificador de origem. Caso contrário, você poderá usar o endereço IP e a porta de origem para determinar o cliente, embora isso seja interrompido se o endereço IP do cliente for alterado.