O que exatamente um aplicativo precisa de direitos de administrador varia de acordo com o aplicativo, mas você identificou os dois problemas mais comuns de execução sem direitos elevados: áreas protegidas do sistema de arquivos e do registro.
Para resolver seu problema exato, você deve executar o Process Monitor (da SysInternals). Em seguida, execute o aplicativo, sem elevação. O ProcMon informará o que o aplicativo está tentando fazer e falhando. Procure resultados de acesso negado.