Você não menciona qual versão ou arquitetura do SSMS você está tentando instalar. Talvez você possa atualizar sua pergunta para indicar isso.
O SQL Server Management Studio 2008 R2 de 64 bits está disponível disponível aqui - você também pode fazer o download do SQL Server 2008 R2 Express com as ferramentas de gerenciamento incluídas no instalador. Esta versão é instalada e executada, sem problemas, no Windows Server 2008 R2.