Os binários para o Ubuntu 12.04 x86 podem funcionar ( may , não serão ); mas se não o fizerem, é devido à ligação a bibliotecas que mudaram de forma incompatível entre 2010 e 2012.
O espaço do usuário do CentOS / Red Hat Enterprise Linux da série 6.x é baseado no Fedora 12, do final de 2009 / início de 2010. O Ubuntu 12.04 foi lançado em abril de 2012, com a maioria de suas bibliotecas usando versões lançadas em final de 2011. Portanto, há cerca de 24 a 30 meses de trabalho de desenvolvimento entre o CentOS 6.xe o Ubuntu 12.x.
Se algo em glibc (ou libstdc++ especialmente) mudou notavelmente desde então, Clang ou qualquer coisa baseada em LLVM não funcionará se ele foi compilado para o Ubuntu 12.04 e executado no CentOS 6.x.
Eu não posso dizer com certeza porque não testei isso.
O que você deve fazer é compilar o LLVM e clicar no CentOS 6.3, ou procurar por um repositório que envia binários do Clang para o CentOS, como ELRepo .