Da página do manual
ssh exits with the exit status of the remote command or with 255 if an error occurred
então qualquer coisa que não seja 255 deve ter vindo do comando remoto.
Como posso diferenciar se o código de retorno ($?) veio do comando ssh ou do comando a ser executado remotamente ao usar a seguinte sintaxe:
ssh user@host "some remote command"
Tags ssh