O que você está procurando é Gerenciamento de direitos do Active Directory ou Gerenciamento de direitos do Azure . Isso permite atribuir permissões ao documento por usuário, protegido basicamente com a mesma criptografia que você está perguntando.
Se você tiver um ambiente controlado pelo AD e os documentos só forem compartilhados internamente, a versão do AD provavelmente será o caminho a seguir, pois é provável que você já tenha as peças e o licenciamento. Se você precisar compartilhar fora da sua rede do AD ou usar o Office 365 sem AD, a versão do Azure será o caminho a seguir.