Sim: o processo de atualização detectará que você está em uma conexão remota e abrirá um servidor SSH separado (e notificará você disso). Em caso de falha, você poderá se reconectar através da outra conexão SSH.
Claro, se ele não voltar depois de uma reinicialização, você ainda terá um problema.