Isso depende do tipo de endereço IP que você possui (assumindo IPv4 estático aqui) e com quem seu domínio está hospedado.
Você precisará definir o Registro de recurso do seu domínio para apontar para o seu endereço IP. O provedor que uso para hospedar domínios me permite alterar as entradas de DNS online, mas você pode ter que abrir um ticket de suporte com o seu provedor se ele precisar alterá-lo para você.
ATUALIZAÇÃO: seu provedor parece oferecer uma ferramenta para editar o DNS on-line também, dê uma olhada no documentation . No final da página você encontrará links para documentação detalhada sobre os diferentes registros DNS, você precisa de um chamado "Adicionando ou Editando A Registros ".
Quanto ao servidor de email, sugiro que você inicie com o postfix e o dovecot, que podem ser instalados juntos no Ubuntu com o pacote dovecot-postfix . Se você conseguir configurá-lo a seu gosto, terá que alterar o Registro MX do seu domínio para apontar para o seu endereço IP, para receber e-mails do mundo externo .