Assegurar isso realmente depende de como ele está sendo servido. Mas, por padrão, ele vem com seu próprio servidor web. /etc/webmin/miniserv.conf tem permissão e nega diretivas. Então você pode usar isso para permitir apenas o acesso do host local.
Então, como você diz, apenas ssh usando o tunelamento de porta para acessá-lo. Nesse ponto, em teoria, seria tão seguro quanto a configuração do seu ssh. Se alguém obtiver acesso ssh ao seu servidor, você já tem problemas.