The 32-bit version of Office 2010 is the recommended option for most users, because it prevents potential compatibility issues with other 32-bit applications, specifically third-party add-ins that are available only for 32-bit operating systems.
Esse é o problema de compatibilidade que você levanta na sua pergunta. A única vantagem real da versão de 64 bits é que você pode trabalhar com mais de 2 GB de dados (normalmente relevantes para o Excel). Se você estiver trabalhando com enormes quantidades de dados e tiver superado esse limite (ou tiver motivos para pensar que o fará em breve), considere 64 bits. Caso contrário, eu ficaria com 32 bits.