O ISA Server 2006 só pode ser executado no Windows Server 2003 x86, nem mesmo o 2008 x86 funcionaria.
Se você deseja executar o ISA, instale o Windows Server 2003 no servidor que deseja usar como firewall; caso contrário, você precisará ir para a solução de firewall de próxima geração da Microsoft: ForeFront Threat Management Gateway 2010 (sim, "ISA Server" era muito mais simples de dizer e escrever).