Isso não é algo que você possa determinar a partir da metade pública da chave. Mesmo se você pudesse determiná-lo, o que impediria o usuário de removê-lo posteriormente?
Quando você remove a frase secreta do lado privado da chave, o lado público não muda.