O encadeamento detalhando esse erro pode ser encontrado aqui . Você pode ver o próprio RMerlin (o autor) abordando isso.
RMerlin dá uma solução para corrigir este problema
In the meantime as I said, simply generate a new DH, and paste it on the DH field of your router to replace it. The OpenSSL version you use does not matter, you don't need the newer version to do this.
E o código para gerar a chave ...
openssl dhparam -out dh.pem 1024
cat dh.pem
Por RMerlin, isso será corrigido ...
When 378.55 is released, which won't be for at least a few weeks, as the current Asus GPL code has numerous issues.
Por algum motivo, esse bug não está no código do MerlinWRT, mas um patch para a biblioteca OpenSSL do cliente ,
As a security improvement, this update also modifies OpenSSL behaviour to reject DH key sizes below 768 bits, preventing a possible downgrade attack.
Embora seja interessante, de acordo com o "Guia de implantação do Diffie-Hellman para TLS" , você pode considerar 2048 bits ou mais strong.