Como o Redis 2.4 não está no Repositório para teste ou instável, você precisará compilá-lo manualmente. Apenas desinstale a versão antiga do Redis (via apt) e compile o novo.
Tente isso para instalar o Redis 2.4
wget http://redis.googlecode.com/files/redis-2.4.0.tar.gz
tar xzvf redis-2.4.0.tar.gz
cd redis-2.4
make install
make test