Atualizar para 12.04 é de longe a maneira mais fácil de obter uma nova versão do Nautilus.
O Nautilus é uma parte integrante do Gnome, que é parte integrante de toda a distribuição, dependendo de uma versão específica de libc
e outras coisas. Tentar atualizar apenas alguns dos pacotes levará você diretamente para o hell, como você já está descobrindo, especialmente ao migrar do Gnome2 para o Gnome3.
Outra opção é compilar uma nova versão do Gnome a partir do código-fonte com um prefixo separado, mas também é mais provável que você esteja disposto a investir.