Você precisa alterar esta linha
sudo iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
Para
sudo iptables -A INPUT -m state --state NEW,ESTABLISHED,RELATED -j ACCEPT
Como sua regra corresponde apenas a conexões estabelecidas (syn-ack) e relacionadas, não a novas (syn)
Portanto, a regra completa deve se parecer com:
sudo iptables -A INPUT -i lo -j ACCEPT
sudo iptables -A INPUT -p tcp --dport 22 -d 34.195.109.193 -m state --state NEW,ESTABLISHED,RELATED -j ACCEPT
sudo iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
sudo iptables -A INPUT -j DROP
sudo iptables -A OUTPUT -p tcp -m state --state ESTABLISHED,RELATED -j ACCEPT
sudo iptables -A OUTPUT -p tcp -j DROP
A última regra de saída permitirá conexões estabelecidas ao seu host.