Antes do Windows 8, você poderia ter aplicativos ". standalone" .exe. A instalação foi principalmente para criar links e referências para tornar mais fácil para o aplicativo encontrar o que precisava e executar. Se tudo o que o aplicativo precisava fosse fornecido pelo próprio aplicativo, ele poderia ser executado sem a instalação. O contêiner de aplicativos é um conceito de segurança introduzido no Win 8. Sem a instalação, um aplicativo tem acesso a suas próprias pastas e pouco mais, incluindo a maioria dos dispositivos. Um aplicativo deve ser projetado para funcionar com contêineres de aplicativos para ser instalado. Este link tem uma descrição decente do conceito e como funciona.
Editar: para um aplicativo instalado, parece que todas as associações e permissões estão anexadas ao bloco, portanto, o .exe não pode ser executado diretamente.