Você pode fazer isso usando UFW
.
Ative o UFW
e defina entrada padrão para negar:
$ sudo ufw enable && sudo ufw default deny incoming
Depois, você pode permitir IPs específicos com:
$ sudo ufw allow from 192.168.1.10 to any
Isso permitirá o endereço IP 192.168.1.10
em qualquer porta do seu firewall.