Você parece ter usado o esporte em vez do dport e vice-versa nas regras do firewall. Deve ser:
iptables -A INPUT -p tcp -s "$ my_pc_ip" --dport 3128 -m state --state NOVO, ESTABELECIDO -j ACCEPT
iptables -A SAÍDA -p tcp -d "$ my_pc_ip" --sport 3128 -m estado --state ESTABELECIDO -j ACCEPT
Como as regras estão no seu servidor proxy, na cadeia INPUT a correspondência dos pacotes deve ser com dport, ou seja, a porta na qual seu proxy está sendo executado e similarmente na cadeia OUTPUT deve corresponder ao esporte de onde os pacotes são originários.