Atualização (resposta mais correta): O método de inicialização EFI do Mac Pro é o grande motivo pelo qual são necessárias placas gráficas especiais. Instruções especiais de firmware devem estar presentes no cartão para que ele funcione corretamente com o EFI. Veja este artigo para mais informações.
Resposta original (mais fraca): A maior vantagem de colocar qualquer hardware de terceiros em um Mac é o suporte ao driver. Se o driver não estiver integrado no OS X, é responsabilidade do fabricante do hardware gravar o driver e obter a certificação do Mac. A Apple tem sido muito exigente quanto a abençoar motoristas no passado. Se não for aprovado pela Apple, você está sozinho com suporte. A coisa que a Apple vende a você é geralmente a mesma coisa, exceto que você paga o prêmio porque é abençoado pela Apple (e com isso é apoiado por eles).
Você pode encontrar listas na Internet (ou seja, como esta >) listará os cartões compatíveis para versões específicas do OS X (ou hardware específico da Apple).