Você pode implantar sua própria PKI. Sua principal limitação será fazer com que todos os seus clientes instalem seu certificado de autoridade de certificação como um certificado de raiz confiável. Ou seja, fazer com que todos eles confiem quando você diz que um servidor é seguro, é (isso é uma declaração muito ampla, e a maioria dos departamentos de TI se oporá).
Caso contrário, o que você propõe funcionaria.
Posso sugerir que você procure usar o OpenID ou o Windows Live ID ou um serviço semelhante para lidar com a autenticação. Você pode apenas acompanhar a autorização (quais IDs são aceitos) e não precisa se preocupar em manter as senhas. A criptografia e o não-repúdio podem ser facilmente manipulados por SSL ou TLS básico e por um certificado barato de uma autoridade de certificação pública. Os Serviços de Federação funcionam muito bem para empresas strongmente parceiras, mas normalmente não são usados para relacionamentos casuais com clientes.