Eu tenho uma máquina Linux que estou usando como roteador. Ele possui 5 interfaces de rede: três LANs separadas, que são roteadas entre e duas WANs. No momento, tenho apenas uma WAN como rota padrão e a outra não está efetivamente fazendo nada. Eu tenho tentado por anos sem sucesso fazer com que ambas as WANs trabalhem usando o iptables e as regras de ip.
O problema que tenho tido é o seguinte: quando eu tento rotear um ping pela WAN 2 - que requer NAT - meu ping é enviado do host do meu cliente para a máquina Linux, que então o encaminha pela WAN 2 corretamente, e ele vê a resposta voltar, mas não encaminha o pacote de volta para minha máquina cliente. Não consegui descobrir por que não está voltando, apesar de muitas pesquisas e de ler questões relacionadas. (A WAN 1 não requer NAT, pois isso é feito em um roteador externo.)
Alguns dias atrás eu mudei do iptables para o nftables, pois a) torna a configuração muito mais fácil de ler eb) na verdade me permite rastrear a avaliação da regra para que eu possa ver o que está acontecendo. Com isso, agora sinto que tenho o suficiente para postar essa pergunta.
Aqui está o meu /etc/nftables.conf :
table ip filter {
chain INPUT {
type filter hook input priority 0; policy accept;
ip protocol icmp counter meta nftrace set 1
# allow loopback
iifname "lo" accept
# allow established/related connections
ct state {established, related} accept
# allow ping
ip protocol icmp accept
# accept anything from local networks
ip saddr {
172.23.0.0/24, # lan1
172.23.2.0/24, # routed through lan1
172.23.3.0/24, # routed through lan1
172.23.4.0/24, # lan2
172.23.5.0/24, # lan3
} accept
# ntp exploit protection
udp sport ntp ct state {invalid, related, new, untracked} counter drop
# accept SSH from anyone else
ct state new tcp dport ssh accept
# drop all other packets
counter drop
}
chain FORWARD {
type filter hook forward priority 0; policy accept;
ip protocol icmp counter meta nftrace set 1
# drop anything to old local network 172.23.1.0/24
ip daddr 172.23.1.0/24 counter drop
# accept all other packets
counter accept
}
chain OUTPUT {
type filter hook output priority 0; policy accept;
# ntp exploit protection
udp dport ntp ct state {invalid, related, untracked} counter drop
}
}
table ip mangle {
chain FORWARD {
type filter hook forward priority -150; policy accept;
ip protocol icmp counter meta nftrace set 1
}
chain OUTPUT {
type filter hook output priority -150; policy accept;
# send replies to WAN->HERE connections via the same route as where they were initiated from
ct state related,established meta mark set ct mark
}
chain PREROUTING {
type filter hook prerouting priority -150; policy accept;
# trace ALL packets coming from enp6s0 (WAN 2)
iifname enp6s0 counter meta nftrace set 1
# send subsequent packets on forwarded connections via the same route as when they were initiated
ct state related,established meta mark set ct mark
# trace all packets with a packet mark
meta mark != 0x0 counter meta nftrace set 1
# all further processing is for new connections only - so everything else returns here
ct state != new return
# any new WAN->LAN connections from enp6s0 (WAN 2) go into route 3, for the initial and subsequent packets
# the return on the end ensures we don't do any further processing, which checks outbound protocols
iifname enp6s0 ct mark set 0x3 meta mark set 0x3 return
# any new WAN->LAN connections from enp4s0 (WAN 1) shouldn't do further processing either
iifname enp4s0 return
# everything from this point onwards is for new outgoing LAN->WAN connections only
# for testing - route specific protocols through WAN 2
#tcp dport 443 ct mark set 0x3 meta mark set 0x3
#tcp dport 80 ct mark set 0x3 meta mark set 0x3
ip protocol icmp ct mark set 0x3 meta mark set 0x3 counter meta nftrace set 1
}
}
table ip nat {
chain POSTROUTING {
type nat hook postrouting priority 100; policy accept;
oifname enp6s0 counter meta nftrace set 1 masquerade
}
}
ip -4 addr : (enp4s0 é WAN 1, enp6s0 é WAN 2, os outros são LANs)
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
2: enp4s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
inet 192.168.0.3/24 brd 192.168.0.255 scope global enp4s0
valid_lft forever preferred_lft forever
3: enp5s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
inet 172.23.4.3/24 brd 172.23.4.255 scope global enp5s0
valid_lft forever preferred_lft forever
4: enp6s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
inet (redacted).117/22 brd 255.255.255.255 scope global enp6s0
valid_lft forever preferred_lft forever
5: enp7s0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc fq_codel state DOWN group default qlen 1000
inet 172.23.5.3/24 brd 172.23.5.255 scope global enp7s0
valid_lft forever preferred_lft forever
6: enp8s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
inet 172.23.0.3/24 brd 172.23.0.255 scope global enp8s0
valid_lft forever preferred_lft forever
ip route :
default via 192.168.0.1 dev enp4s0
(redacted).0/22 dev enp6s0 proto kernel scope link src (redacted).117 metric 204 mtu 1500
172.23.0.0/24 dev enp8s0 proto kernel scope link src 172.23.0.3
172.23.0.0/16 via 172.23.0.2 dev enp8s0
172.23.4.0/24 dev enp5s0 proto kernel scope link src 172.23.4.3
172.23.5.0/24 dev enp7s0 proto kernel scope link src 172.23.5.3 linkdown
192.168.0.0/24 dev enp4s0 proto kernel scope link src 192.168.0.3
ip route show table 3 :
default via (redacted).1 dev enp6s0
(redacted).1 dev enp6s0 scope link src (redacted).117
172.23.0.0/24 dev enp8s0 proto kernel scope link src 172.23.0.3
172.23.0.0/16 via 172.23.0.2 dev enp8s0
172.23.4.0/24 dev enp5s0 proto kernel scope link src 172.23.4.3
172.23.5.0/24 dev enp7s0 proto kernel scope link src 172.23.5.3 linkdown
192.168.0.0/24 dev enp4s0 proto kernel scope link src 192.168.0.3
ip rule :
0: from all lookup local
32764: from all fwmark 0x3 lookup 3
32765: from (redacted).117 lookup 3
32766: from all lookup main
32767: from all lookup default
E agora a parte divertida, aqui está a saída de nft monitor trace quando eu faço ping 8.8.8.8 do meu cliente (Windows) PC:
trace id 8e85e085 ip mangle PREROUTING packet: iif "enp8s0" ether saddr dc:9f:db:16:42:b5 ether daddr 38:ea:a7:ab:f8:bc ip saddr 172.23.2.132 ip daddr 8.8.8.8 ip dscp cs0 ip ecn not-ect ip ttl 127 ip id 4170 ip length 60 icmp type echo-request icmp code 0 icmp id 1 icmp sequence 779
trace id 8e85e085 ip mangle PREROUTING rule ip protocol icmp ct mark set 0x00000003 mark set 0x00000003 counter packets 0 bytes 0 nftrace set 1 (verdict continue)
trace id 8e85e085 ip mangle PREROUTING verdict continue mark 0x00000003
trace id 8e85e085 ip mangle PREROUTING mark 0x00000003
trace id 8e85e085 ip mangle FORWARD packet: iif "enp8s0" oif "enp6s0" ether saddr dc:9f:db:16:42:b5 ether daddr 38:ea:a7:ab:f8:bc ip saddr 172.23.2.132 ip daddr 8.8.8.8 ip dscp cs0 ip ecn not-ect ip ttl 126 ip id 4170 ip length 60 icmp type echo-request icmp code 0 icmp id 1 icmp sequence 779
trace id 8e85e085 ip mangle FORWARD rule ip protocol icmp counter packets 0 bytes 0 nftrace set 1 (verdict continue)
trace id 8e85e085 ip mangle FORWARD verdict continue mark 0x00000003
trace id 8e85e085 ip mangle FORWARD mark 0x00000003
trace id 8e85e085 ip filter FORWARD packet: iif "enp8s0" oif "enp6s0" ether saddr dc:9f:db:16:42:b5 ether daddr 38:ea:a7:ab:f8:bc ip saddr 172.23.2.132 ip daddr 8.8.8.8 ip dscp cs0 ip ecn not-ect ip ttl 126 ip id 4170 ip length 60 icmp type echo-request icmp code 0 icmp id 1 icmp sequence 779
trace id 8e85e085 ip filter FORWARD rule ip protocol icmp counter packets 0 bytes 0 nftrace set 1 (verdict continue)
trace id 8e85e085 ip filter FORWARD rule counter packets 8 bytes 452 accept (verdict accept)
trace id 8e85e085 ip nat POSTROUTING packet: oif "enp6s0" ip saddr 172.23.2.132 ip daddr 8.8.8.8 ip dscp cs0 ip ecn not-ect ip ttl 126 ip id 4170 ip length 60 icmp type echo-request icmp code 0 icmp id 1 icmp sequence 779
trace id 8e85e085 ip nat POSTROUTING rule oifname "enp6s0" counter packets 0 bytes 0 nftrace set 1 masquerade (verdict accept)
trace id eae785df ip mangle PREROUTING packet: iif "enp6s0" ether saddr 00:01:5c:86:1a:47 ether daddr 00:e0:4c:68:12:d9 ip saddr 8.8.8.8 ip daddr (redacted).117 ip dscp cs0 ip ecn not-ect ip ttl 56 ip id 39719 ip length 60 icmp type echo-reply icmp code 0 icmp id 1 icmp sequence 779
trace id eae785df ip mangle PREROUTING rule iifname "enp6s0" counter packets 0 bytes 0 nftrace set 1 (verdict continue)
trace id eae785df ip mangle PREROUTING rule ct state established,related mark set ct mark (verdict continue)
trace id eae785df ip mangle PREROUTING rule mark != 0x00000000 counter packets 0 bytes 0 nftrace set 1 (verdict continue)
trace id eae785df ip mangle PREROUTING verdict return mark 0x00000003
trace id eae785df ip mangle PREROUTING mark 0x00000003
trace id eae785df ip filter INPUT packet: iif "enp6s0" ether saddr 00:01:5c:86:1a:47 ether daddr 00:e0:4c:68:12:d9 ip saddr 8.8.8.8 ip daddr (redacted).117 ip dscp cs0 ip ecn not-ect ip ttl 56 ip id 39719 ip length 60 icmp type echo-reply icmp code 0 icmp id 1 icmp sequence 779
trace id eae785df ip filter INPUT rule ip protocol icmp counter packets 0 bytes 0 nftrace set 1 (verdict continue)
trace id eae785df ip filter INPUT rule ct state { } accept (verdict accept)
E aqui está a linha relevante da saída de conntrack -L :
icmp 1 15 src=172.23.2.132 dst=8.8.8.8 type=8 code=0 id=1 src=8.8.8.8 dst=(redacted).117 type=0 code=0 id=1 mark=3 use=1
A parte de saída tem uma fonte do IP local do meu cliente e o destino do servidor externo que estou fazendo ping, mas a parte de entrada tem o IP externo da máquina fazendo o encaminhamento, não o IP local do meu cliente. (Não tenho certeza se isso é indicativo de um problema ou não.)
Como você pode ver, o pacote de solicitação de eco tem a marca de pacote e a marca conntrack configuradas como 3, então escolhe a interface de saída correta graças às regras de ip e tabela de roteamento 3, então é mascarada corretamente e claramente sai para a Internet desde que eu estou recebendo uma resposta de eco. O pacote de resposta de eco copia corretamente a marca conntrack (que ainda é 3) para a marca do pacote ... mas como você pode ver, não está revertendo o NAT que foi originalmente executado, então está indo para a cadeia INPUT, de ser encaminhado de volta para o meu PC cliente.
Tenho certeza de que estou sentindo falta de algo - eu sinto que tem que haver uma regra em algum lugar para dizer para reverter a operação de NAT - mas todas as páginas que vi explicam como fazer NAT de LAN- > WAN diz que a única regra que você precisa é o disfarce no pós-venda do pacote de saída inicial (muitos guias fornecem outras regras para coisas como o encaminhamento de porta para conexões de entrada, mas são irrelevantes para conexões de saída simples).
O que estou perdendo?
Eu acho que o problema é que sua cadeia de pós-saudaçes está com prioridade de -100. De acordo com o wiki nftables , o DNAT no iptables operado com prioridade -100, mas eu acho que você quer SNAT , que no iptables era equivalente a prioridade (+) 100. Espero que ajude.
O wiki nftables declara:
"[...] you have to register the prerouting/postrouting chains even if you have no rules there since these chain will invoke the NAT engine for the packets coming in the reply direction." at https://wiki.nftables.org/wiki-nftables/index.php/Performing_Network_Address_Translation_(NAT)
Você parece ter uma cadeia de tipo de filtro, mas NÃO do tipo nat. Tente adicionar chain PREROUTING { type nat hook prerouting priority -150 ; }
para a seção table ip nat { [...] } no arquivo /etc/nftable.conf .