Eu definitivamente faria alguma limpeza aqui, ao invés de atualizar eu removeria todos os tipos de SQL Server e instalaria o mecanismo que você quer, digamos, 2008R2. Pode ser o caso de você ter nomeado instâncias executando uma versão diferente da sua instância do SQLEXPRESS.
Depois de instalar o seu motor 2008R2, basta anexar seu banco de dados antigo de 2008 ou 2005 e a atualização ocorrerá automaticamente. No entanto, como o @ken White sugeriu, lembre-se de que uma vez que seu banco de dados usa versões mais modernas, você não pode voltar com versões mais antigas.