Se você criptografou com o OpenSSL < = 1.0.2 e está descriptografando com o OpenSSL 1.1.0, provavelmente é este:
O hash padrão usado para gerar a chave da senha foi alterado entre 1.0.2 e 1.1.0. Tente adicionar -md md5
ao seu comando de descriptografia.