Configure para permitir toda a saída. E, em seguida, permitir relacionado / estabelecido como uma das primeiras regras.
Algo como:
# Accept loopback & established/related connections
iptables -A INPUT -i lo -j ACCEPT
iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT
# Drop invalid on tcp
iptables -A INPUT -p tcp -m conntrack --ctstate INVALID -j DROP
# Set default DROP policy
iptables -P INPUT DROP
iptables -P FORWARD DROP
# But allow everything out
iptables -P OUTPUT ACCEPT
# Now set what you want to allow in.
# e.g. SSH in
iptables -A INPUT -p tcp --dport 22 -j ACCEPT