AFAIK, não há como fazer isso usando o Windows em recursos. ATTRIB (atributo de arquivo / pasta) permite alterar o status somente leitura / oculto / atributo, mas não permite criptografar a pasta ou negar acesso a ela.
Você tem em mente escrever seu próprio software para fazer isso?
Não, não é possível fazer isso por meio do registro. (O registro é irrelevante aqui; o Windows não tem recursos de criptografia de arquivos / pastas).
No entanto, você pode tentar encontrar uma versão portátil (que não requer instalação) de algum programa de criptografia e criptografá-la. Ao colocar a associação de arquivos nesse programa, você pode executar o recurso de clicar e executar.
Note que isso é puramente especulação - eu nunca mexi com nada do tipo, então não tenha nenhum exemplo concreto comigo. Mas IMHO, será muito mais difícil do que apenas instalar um programa especificamente construído para esse fim.