Até onde eu sei, ninguém jamais conseguiu reverter de forma adequada todos os detalhes do protocolo RDP.
É notoriamente difícil devido a diferenças sutis da versão do Windows para a versão do Windows.
Implementar isso em outro sistema operacional com uma arquitetura de exibição totalmente diferente é ainda pior, porque o RDP está intimamente ligado à maneira como o Windows lida com as coisas por trás das telas.
E você realmente não precisa dele (ou do Apple Remote Desktop). O OSX contém um servidor VNC como padrão. Eles chamam de "compartilhamento de tela", mas é apenas um servidor VNC. Basta ativá-lo, configurar a segurança como desejado e você é bom para ir.