if i have my domain name pointed directly to my email servers IP Address would i still have to add MX Records to my DNS?
um registro MX informa à internet quais servidores são responsáveis pelo tratamento de mensagens recebidas. Assim, sem um registro MX, um e-mail enviado para seu domínio retornaria, pois o servidor de e-mail remoto não saberia para onde enviá-lo. Se você quiser receber e-mails, precisará de um registro MX. (você também desejaria implementar as chaves SPF e de domínio para verificar também o servidor de email do seu domínio). apenas google isso e ler sobre isso.
the email server should work with Apple mail that is built in to my computer that should connect with IMAP on the SMTP server port.
IMAP e SMTP, neste caso, são sobre o seu cliente de email. O IMAP é usado pelo cliente para recuperar emails do servidor, e o SMTP, nesse caso, é usado pelo cliente para enviar emails. por isso não confunda isso com um serviço IMAP no servidor, nem SMTP como usado pelo servidor de email para encaminhar em email, com base em registros MX (e SPF / DKIM para verificação de domínio.
em suma, você precisa pesquisar essas coisas no Google e entender a diferença antes de implantar seu servidor de e-mail.