Não é possível em geral. No entanto, se você quiser editar diretamente os arquivos, por exemplo, um editor de texto, poderá usar o sftp:
Quando uma chave ssh já foi copiada, você pode editar arquivos remotos diretamente e sem transferência usando o nome de arquivo sftp://username@hostname/home/myfile.txt
Pelo menos isso funciona no Kate.