Eu assumo que você pegou o PhyloCon-v3b.linux do seu site. Isso é um executável do Linux, não será executado no Mac OS X.
Em vez disso, você precisa pegar o código-fonte e compilá-lo você mesmo. Extraia o código-fonte em um diretório vazio e, se tiver sorte, executar make
irá compilá-lo.
Note que ele não é compilado corretamente na minha caixa do Linux; parece usar alguma sintaxe não-bem-C questionável que meu GCC moderno não está aceitando. Parece fácil conseguir compilar, fixando algumas declarações ... Se funciona, não estou nada qualificado para responder.