Isso é basicamente certo. Os detalhes de qual algoritmo seu par de chaves é realmente codificado como parte da chave pública em si! Essa é a chave pública não é realmente uma chave bruta, mas em vez disso é empacotada um pouco para especificar alguns detalhes da chave (minimamente o algoritmo para o qual a chave é) bem como a própria cadeia de bits da chave.
Você pode encontrar mais lendo sobre o RSA PKCS # 1 [publicado pelo IETF como RFC3447]: link