A razão para isso é que o nginx não aprende o caminho (parte da solicitação) até que a camada TLS seja configurada, por isso não pode voltar no tempo e mudar de idéia sobre a necessidade de um certificado de cliente.
Outra solução alternativa pode ser redirecionar / admin para outro nome de host egadmin.domain-name (você precisaria de um cur-card cert) e, em seguida, ele deve ser capaz de aplicar certificados de cliente nesse nível.
Caso contrário, se você tentar tornar o certificado do cliente opcional, todos os clientes receberão uma janela de diálogo solicitando que escolham um certificado de cliente.