Em authorized_keys
file , você pode especificar um comando a ser usado ao autenticar com um par de chaves específico. Você também pode definir uma variável de ambiente usando a opção environment
:
command="/path/script",command="KEY_WAS_USED=yes" ssh-rsa ...
E então você pode verificar a existência da variável em algum script de inicialização para executar seu script "não-chave" (senha).