Se o seu firewall NÃO for stateful, então sim, você está correto.
Se o seu firewall é um firewall, você normalmente não precisa configurar a regra oposta. Em alguns sistemas, você precisa configurá-lo explicitamente.
Por exemplo, no Linux, você pode adicionar:
iptables -I INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
para permitir conexões de entrada que foram iniciadas pelo host.