Você pode controlá-lo usando a diretiva ListenAddress disponível em seu arquivo de configuração do daemon ssh
Algo como
sudo nano /etc/ssh/sshd_config
Alcançar a linha:
#ListenAddress 0.0.0.0
Remova o comentário, se necessário, e edite-o de acordo com sua configuração vpn, algo como:
ListenAddress 10.10.0.1
Reinicie o daemon
sudo service ssh restart
Verifique se funciona
Tenha em mente que você também pode ajustar suas regras de firewall para restringir ainda mais o acesso a certas sub-redes / portas, neste caso, sua rede vpn
Espero que ajude