A melhor opção é fazer isso em todas as configurações de serviço e configurar todos os serviços para escutar ip específico e não qualquer ip, mas, você pode fazer isso em iptables
para poder descartar qualquer pacote que tenha destino ipB e a porta não é openvpn
port ou apenas permite destino ipB e porta openvpn
mas aqui você perderá a capacidade de usar a porta com ipA.
Para exmpale:
iptables -t filter -A INPUT -p udp -d <ipB> --dport 1194 -j ACCEPT
iptables -t filter -A INPUT -p tcp -d <ipB> --dport 1194 -j ACCEPT
iptables -t filter -A INPUT -p udp --dport 1194 -j DROP
iptables -t filter -A INPUT -p tcp --dport 1194 -j DROP
Aqui estou permitindo apenas a conexão na porta 1194
para o pacote que tem o destino ipB