A resposta depende inteiramente do produto que você está usando. Se ele permitir que você instale seu próprio certificado SSL, instale um de uma CA confiável pelo seu navegador (possivelmente sua própria autoridade de certificação).
Se você não puder substituir o certificado autoassinado no roteador, estará principalmente SOL.
Não tenho certeza se há muito risco real aqui. O perfil de ataque é muito pequeno ... alguém farejando a rede na hora certa pode obter a senha administrativa do seu roteador, mas as chances de isso acontecer parecem muito pequenas, a menos que você esteja autenticando com frequência no seu roteador.