Se você não se importar com um pouco de duplicação de programas, o Homebrew e o MacPorts podem coexistir pacificamente. Homebrew vive em /usr/local , enquanto MacPorts vive em /opt/local (por padrão), então tudo que você precisa fazer para manter os programas fabricados como padrão na linha de comando é certificar-se de que /usr/local/bin vem antes de /opt/local/bin em seu $PATH da variável do shell. Sim, a instalação do MacPorts vai usar algum espaço, então compilar o Nautilus do zero seria uma opção melhor se você estivesse tomando cuidado com cada bit que você escrevesse no seu HD, mas se você tivesse espaço extra suficiente você não poderia errar com o MacPorts. Eu realmente prefiro ao Homebrew por seus excelentes cálculos de dependência e sua variedade de programas incluídos, como você já descobriu. A documentação é muito boa, algo que achei deficiente quando experimentei o Homebrew no ano passado.
Então, meu conselho seria experimentar o MacPorts, e se for muito difícil / confuso / problemático, você pode sempre tentar a opção manual. Para isso, você geralmente baixa o tarball, descompacte-o, entre no diretório, execute ./configure e procure por erros, se não houver nenhum execute make e procure por erros, se nenhum executar sudo make install e esperamos que você tenha uma nova cópia de trabalho do Nautilus.