Ok, então era todo o problema do roteador Netgear (N450 WiFi DOCSIS 3.0 Cable Modem Router (N450-100NAS)) em vez de SSH. Quando voltei para o roteador da Comcast (aqueles que você pode alugar), a conexão parou de cair.
Não compre este roteador se você planeja expor uma porta da sua rede interna para o mundo.