Eles estão todos bem para fazer o que você quer fazer. Escolha um que alguém que você possa pedir ajuda sabe.
Estou executando o windows server 2008 64, mas todas as coisas de código aberto (mysql, ruby, python, R) ou não são bem testadas ou apresentam problemas. E, claro, se você tiver que compilar pacotes, estará por conta própria.
Eu acho que é óbvio que o FOSS funcionará melhor no linux; talvez OSX também. Mas existem grandes diferenças em termos de distros. Qual deles tem a melhor reputação de x64? Isso é para um uso de desktop (fazendo simulações científicas, precisa de muito ram).
Eu particularmente não gosto de macs, mas posso considerá-lo se eles tiverem um suporte x64 comprovadamente melhor.
Eles estão todos bem para fazer o que você quer fazer. Escolha um que alguém que você possa pedir ajuda sabe.
Podemos precisar de uma tag "guerra religiosa" hehehe
Você só precisa acessar a RAM? Um kernel PAE pode se encaixar no projeto (Linux).
Resposta geral: Cada plataforma de hardware do OS + tem seus pontos strongs e fracos. Use a ferramenta que funciona melhor para a tarefa em mãos. Gastar tempo avaliando cada plataforma e dar-lhe uma lista de não-tendenciosa de "must haves". Um vencedor claro surgirá.
Eu suportei usuários com CentOS e Ubuntu para estações de trabalho científicas x64. O CentOS foi um pouco mais fácil de funcionar (alguns softwares comerciais fornecem toda a documentação presumindo que ele esteja rodando na Red Hat). O Ubuntu era um sistema operacional de desktop muito mais agradável. Ambos eram perfeitamente confiáveis / estáveis.
Se você conhece o Linux, vá com sua distro favorita; Se você não conhece o Linux, então o Ubuntu é uma boa distro fácil, mas as dificuldades de aprender um novo sistema operacional podem superar os benefícios que você obtém.