Normalmente, o erro ssl_error_rx_record_too_long significa que o serviço não está falando em SSL - por exemplo, se você tentar acessar um serviço http apenas via https. Você tem certeza de que o webmin está configurado para falar em ssl na porta: 10000?
O que acontece se você tentar acessar o link ? Se isso funcionar, provavelmente você só precisa configurar o webmin para usar o SSL.
Você seguiu todas as etapas do link , incluindo a certeza de que as bibliotecas do OpenSSL estão instaladas e módulo perl Net :: SSLeay?