Você pode restringir o acesso ssh apenas às chaves ssh (desabilitar o login por senha com PasswordAuthentication no ) e permitir somente a chave da conta de usuário test1 em ~admin/.ssh/authorized_keys na máquina VM1.
Obs: a chave pública que você precisará permitir no admin @ VM1 será a chave pública /home/test1/.ssh/id_rsa.pub na máquina VM2 (ou algo similar se você usar chaves rsa).