Existe a opção BindAddress , que permite que você não passe pela rede VPN, mesmo que seja definida como padrão.
Pode ser definido no arquivo de configuração ~/.ssh/config as
Host your-non-vpn-host
BindAddress your-local-ip-non-vpn
Ou apenas ad-hoc na linha de comando usando a opção -oBindAddress=your-local-ip-non-vpn para SSH / SFTP / SSHFS.
E como encontrar seu your-local-ip-non-vpn ? Liste seus endereços IP locais usando ip address show e selecione o que é mostrado ao lado da sua interface de rede "normal" (não a próxima à sua interface VPN).