Não há pontos suficientes para postar um comentário, mas quando você faz telnet para o servidor Domino na porta 26, você pode enviar uma mensagem? A mensagem é entregue em uma caixa de correio do Domino?
Como você está tentando fazer com que o hMailServer interaja com o Domino SMTP? O hMailServer está encaminhando e-mails para o Domino SMTP ou vice-versa?
Existe alguma necessidade de hMailServer? Diferente do conflito de porta, há algum motivo pelo qual você moveu o Domino SMTP para a porta 26? Seria melhor usar aliases de IP e fornecer endereços IP diferentes para Domino e hMailServers.