Para descriptografar o tráfego, você precisa da chave privada e do certificado. A chave é armazenada (esperançosamente segura) no servidor da web e é usada em conjunto com o certificado para se autenticar em você, o usuário.
Os comandos que você está executando não funcionam sem a chave privada. A saída acima de openssl base64 -in key.cert -out 1.der
informa isso quando diz que está esperando uma chave privada criptografada, enquanto você está fornecendo um certificado.
Se você estiver tentando descriptografar o tráfego entre você e um servidor da Web ao qual tem acesso, obtenha a chave privada no servidor da Web. Se não for o seu servidor da Web, você não poderá descriptografar o tráfego - esse é o objetivo do SSL / TLS.