Suspeito que seu ISP esteja executando vários servidores proxy com balanceamento de carga, e esses são os IPs do proxy.
Os proxies da Web não afetariam as sessões do SSH. Se você executar who
no servidor SSH, ele deverá mostrar o IP de onde esta sessão está vindo, que é seu verdadeiro IP público.