O problema foi com meu roteador e "encaminhamento de porta".
Eu tinha a porta 22 encaminhada para o meu servidor pessoal, mas esqueci de limitar isso a um destino específico ou interface de entrada. Devido ao meu baile de máscaras local, todo o tráfego da porta de saída 22 estava sendo redirecionado para o meu servidor pessoal.
Eu me sinto um idiota.