iptables (ou ufw, que é apenas um front end para o iptables) faria o que você quiser. O tempo limite de resposta padrão para pacotes UDP é de 30 segundos (ou muito próximo a ele). Então, você só precisa permitir que o pacote relacionado à resposta volte e DROP o resto (o que segue assume que o seu IF externo é eth0):
sudo iptables -A INPUT -i eth0 -d your_external_IP_address -m state --state ESTABLISHED,RELATED -j ACCEPT
sudo iptables -A INPUT -i eth0 -d your_external_IP_address -j DROP
Note que esta não é a resposta completa. Se quiser usar o iptables, você terá que considerar seus requisitos gerais e lidar com possíveis outros requisitos de uso de acordo.
Houve um caso de uso mínimo similar no outro dia, ao qual você pode se referir para.