Como já foi sugerido, DDR3 é incompatível com slots DDR2.
Atualizar RAM em Macs pode ser complicado. Eu recentemente atualizei um MacMini da mesma safra (2009), e inicialmente comprei RAM que "combinava" com a sugestão da Apple, apenas para descobrir que, se eu usasse ambos os novos DIMMs, o sistema não inicializaria. Precisava de um chip "bom" que pudesse extrair dados de tempo (ou algum outro pedaço de vodu que eu não tenha pesquisado completamente) que os outros não forneciam. Pedi outro DIMM, desta vez da Crucial, e tudo estava bem.
Você pode verificar com Crucial primeiro. Eu não estou recomendando absolutamente comprar deles, mas eles fazem um trabalho muito bom de pesquisar e combinar a RAM para o sistema.