Para o UFW, você deve criar uma regra de entrada que permita aceitar conexões pela porta 5123 (provavelmente TCP e UDP).
sudo ufw allow proto tcp from [SourceIP] port 5123
deve ser suficiente para o que você precisa, ele abrirá a porta 5123.
Para o registro, e para aqueles que usam iptables
diretamente no caso de você estar curioso, a mesma funcionalidade pode ser obtida com isto:
sudo iptables -A INPUT -p tcp -s [SourceIP] --dport 5123 -j ACCEPT