A razão pela qual está pedindo a senha é para proteger seu certificado SSL - no caso de seu servidor ser quebrado, o cracker pode ter acesso tanto ao seu certificado quanto à chave dele. Mas, desde que seja necessária uma senha para usar a chave, o intruso não poderá usá-la.
Se você está convencido de que seu servidor é seguro o suficiente para que não haja um cracker, você pode remover a frase secreta da chave - embora eu realmente não o recomende!
A maneira de remover a senha é primeiro fazer uma cópia de backup da chave. Em seguida, execute o comando
openssl rsa -in backupcopy.key -out keyname.key
Você será solicitado a fornecer a senha e, em seguida, o openssl gravará uma chave que não requer uma senha. Mas, novamente, isso é realmente inseguro.