Provavelmente, leva muito tempo para construir, é normal que algumas portas demorem horas para serem construídas. Se você está curioso, você sempre pode localizar o arquivo de log usando port logfile clang-3.2 e abri-lo em seu editor de texto favorito ou tail -f $(port logfile clang-3.2) para ver o que está acontecendo.
A propósito, você recebe um pacote com o Xcode, então muitas vezes não é necessário construir você mesmo.