Você precisa garantir que as conexões existentes permaneçam abertas quando você adicionar essa regra.
-A INPUT -i eth0 -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -i lo -j ACCEPT
Em seguida, adicione sua lista de permissões abaixo disso e, finalmente, adicione uma linha suspensa ao END da cadeia INPUT
-A INPUT -j DROP
Uma boa leitura / tutorial para você começar seria:
aqui