Você provavelmente não deseja descartar todas as conexões de saída.
Você pode querer adicionar uma regra desde o início para permitir conexões ESTABLISHED e, se estiver usando protocolos como ftp, você pode adicionar RELATED à regra também, por exemplo,
-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
lembre-se de questões de ordem de regra - a primeira partida vence.
Provavelmente, você deve dar uma olhada nas perguntas e respostas que temos sobre como proteger um servidor da web Dicas para Proteger um Servidor LAMP ele tem muita informação excelente.