Um firewall de software no seu computador pode ser útil porque pode alertá-lo para conexões inesperadas de SAÍDA. Um firewall de hardware (porque não tem interface de usuário) praticamente tem que deixar conexões de saída acontecer por padrão, porque senão você não pode fazer nada com isso! Um firewall de software pode ser mais exigente - o Internet Explorer certamente deve fazer conexões, enquanto um programa do qual você nunca ouviu falar tentando fazer conexões SMTP de saída (e-mail) é provavelmente um malware que tenta enviar spam.
Isso pode ser ruim, é claro, porque você acaba recebendo alertas sempre que algo que nunca se conectou aparece antes, mas desaparece depois de um dia, e então você só recebe alertas quando instala algo novo, ou algo assim. está errado.
Assim, um firewall de software pode ser um bom complemento para um firewall de hardware, mas é mais útil como uma ferramenta de detecção e para evitar que coisas como redes de bots se espalhem. É claro que, se você tiver outros PCs na rede local (atrás do roteador), um firewall de software também será útil na prevenção de ataques locais.