A versão do OpenJDK está sendo encontrada primeiro no seu PATH. Você pode verificar qual deles está sendo invocado executando
>which java
Tente alterar "PATH de exportação" para colocar o seu novo JDK em primeiro lugar, em vez do último, assim:
>export PATH=/usr/java/jdk1.7.0_51/bin:$PATH
Inicie um novo shell e tente "which java" ou "java -version" - agora você deve obter sua nova versão.