O nome do host é realmente o nome do seu host VPS. O nome no seu registro MX vai para mydomain.
myhostname=server.example.com
mydomain=mail.example.com # if you receive emails as [email protected], or mydomain=example.com if you receive emails as [email protected]