Você precisará criar um host virtual em seu servidor da web principal que responda a solicitações da web para o endereço "mail.domain.com". Dê uma olhada na documentação do Host virtual baseado em nome no site do Apache. Você também precisará de uma regra mod_rewrite para fazer o redirecionamento. Sua configuração seria algo como isto:
NameVirtualHost *:80
<VirtualHost *:80>
ServerName mail.domain.com
RewriteEngine On
RewriteRule (.*) http://mail.domain.com:8080/ [R=301,L]
</VirtualHost>