Como você está executando uma versão lançada do Ubuntu, você não deve esperar que versões mais recentes do software sejam lançadas para essa versão do ubuntu, apenas correções de segurança para versões mais antigas. Você pode ver aqui que 3.1.10 foi lançado para uma versão mais recente do Ubuntu. Você pode tentar backporting essa versão.
Para backport, primeiro você precisa adicionar uma linha deb-src ao sources.list que pode baixar pacotes fonte para o quantal.
deb-src http://us.archive.ubuntu.com/ubuntu/ quantal main universe
Adicione apenas essa linha ao sources.list, não adicione uma linha deb, apenas deb-src. Em seguida, execute apt-get update . Então apt-get build-dep php-apc ; apt-get install build-essential irá instalar os pacotes necessários para a construção do php-apc, e apt-get source -b php-apc deve baixar a fonte para o apc e construir um novo .deb no diretório atual. Se isso funcionar, você pode instalar o deb com algo como dpkg -i ./php-apc-$newversion.deb
No entanto, se você seguir este caminho (ou praticamente qualquer outra rota que o afaste do pacote oficial do ubuntu para o seu lançamento), você está sozinho para atualizações de segurança neste pacote. E por causa disso, você deve questionar se você realmente precisa da versão mais recente, ou se você quer apenas porque 10 > 3.