Se for um firewall do Windows, você pode usar o java para enviar comandos de configuração do firewall do powershell para ele.
Exemplo: permitir o ICMP tanto interna como externamente:
Import-Module NetSecurity
New-NetFirewallRule -Name Allow_Ping -DisplayName “Allow Ping”'
-Description “Packet Internet Groper ICMPv4” '
-Protocol ICMPv4 -IcmpType 8 -Enabled True -Profile Any -Action Allow
Você salva o código como .ps1 e o chama de dentro de java, da mesma forma que tenta executar qualquer .exe.