Você está certo de que a chave privada é gerada quando o CSR é criado. Muitas pessoas parecem ter dificuldade em compreender esse conceito, mas parece que você entende tudo isso muito bem.
Se você tivesse a chave privada, junto com o certificado público correspondente, sim, você pode instalá-los em outros servidores / appliances / etc. Não precisa ser instalado na máquina que executou o CSR. Alguns sistemas desejarão a chave e o certificado de publicação em um PFX ou similar, e outros sistemas desejarão que você os divida em um arquivo .cer e um arquivo .key. É aí que o OpenSSL entra em ação.
A resposta curta aqui é: Sim, você precisa da chave privada para realmente fazer qualquer coisa.