Se você obtiver o seu site usando apenas http://mydomain.com/ , então, por definição, seu servidor web deverá servir na porta 80. Se você puder acessar seu site somente pela porta 8090, então esse 8090 será tem que estar no URL. Não há maneira de contornar isso.
Você poderia, em teoria, organizar encaminhamentos de porta ou proxy ou algo semelhante, mas no final, isso significa que alguma coisa escutará na porta 80 e terá que encaminhar esse tráfego. O navegador da Web sempre se conectará à porta 80 se nenhuma outra porta for especificada na URL.