Isso seria netfilter / ipfilter com algum script que faria as coisas de forma interativa (talvez com a boa API disponível no Ubuntu) usando um script de plano de fundo.
Há alguma discussão antiga nesta página do UbuntuForums .
Veja também, Ubuntu IPTablesHowTo e Firewall .