Você deve primeiro definir esta regra:
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
Ele autorizará a conexão já aberta para continuar e aceitar a conexão ssh (aqui pela porta ethernet)
iptables -A INPUT -p tcp -i eth0 --dport ssh -j ACCEPT
Finalmente, você pode eliminar todas as conexões
iptables -P INPUT DROP
editar
Você também deve permitir que o loopback
faça qualquer coisa
iptables -I INPUT 2 -i lo -j ACCEPT