Sim, acho que o X11 é o caminho a seguir aqui. Certifique-se de que sua instalação do Gentoo permitirá sessões X remotas (ou simplesmente vá em frente e experimente), abra o X11 no Mac (em Utilitários, ou instale-o a partir do CD do OS X ou através de link ). Em seguida, abra uma sessão do Terminal padrão (não a sessão do X11) e faça "ssh -X username @ gentooserver". Depois de ter logado, você deve ser capaz de iniciar os aplicativos do X-Windows a partir da sessão do Terminal regular e eles começarão no servidor OS X X-Windows.
Como geralmente sou usuário do SUSE, costumo usar muito "yast2" dessa maneira.