O SSL requer uma chave privada e uma chave pública. Por razões além do escopo desta resposta, sua chave pública é enviada para uma Autoridade de Certificação (ou CA) na sua Solicitação de Assinatura de Certificado (CSR) e incluída no certificado que retorna para você.
Um servidor precisa da chave privada e pública (quase sempre envolvida em um certificado) para funcionar. É por isso que você vê dois arquivos.
Se você gerou o novo certificado com a mesma chave privada, poderá substituir apenas o certificado. A maioria das instruções on-line para criar um CSR também gera uma nova chave privada (na mesma pasta). Nesse caso, você precisará encontrar e usar essa chave privada em conjunto com seu certificado.