Connection refused é um erro genérico relacionado ao serviço / soquete, geralmente é mostrado ao estabelecer um soquete em que o terminal remoto não possui ouvinte na porta desejada.
Nesse caso, o servidor remoto não deve ter o daemon ssh em execução, portanto, não há nada disponível na porta 22 (presumivelmente), ou uma possibilidade altamente improvável é que o daemon ssh esteja com problemas.
Portanto, verifique se o daemon ssh está em execução (e funcionando corretamente) no host remoto ao qual você está tentando se conectar.