Olhando de volta para o certificado, é óbvio que ele tem apenas 512 bits e está expirado.
$sudo openssl x509 -noout -in /etc/webmin/miniserv.pem -text
...
Not After : Feb 10 14:11:38 2016 GMT
...
Public-Key: (512 bit)
...
Também encontrei um artigo mencionando que o Firefox não suporta certificados menores que 1024 bits desde 2014 aqui .
A partir desse link, também segui os passos para regenerar um novo certificado webmin de 2048 bits e decidi experimentar.
file=/etc/webmin/miniserv.pem openssl req -x509 -newkey rsa:2048 -keyout $file -out $file \ -days 3650 -nodes -subj \ "/C=US/ST=Denial/L=Springfield/O=Dis/CN=www.example.com" openssl x509 -x509toreq -in $file -signkey $file >> $file /etc/init.d/webmin restart
Depois de reiniciar o Webmin, conseguimos usá-lo novamente.
Aparentemente, as restrições contra certificados menores também estão no Debian 9 também.