Sugiro que você também limpe /etc/ssh/ssh_config , pois pode conter alguns desses Hosts que você vê quando ssh -ing em algum lugar.
Ao usar o cliente ssh , as opções de linha de comando têm precedência sobre os arquivos de configuração. O arquivo de configuração específico do usuário ~/.ssh/config é usado em seguida. Finalmente, o arquivo global /etc/ssh/ssh_config é usado. O primeiro valor obtido para cada parâmetro de configuração será usado.