O que você realmente quer é isso em ~/.profile (ou .bashrc se você insistir, mas .profile é melhor ):
PATH=$PATH:/usr/local/jdk1.7.0_25/bin
export PATH
Você estava perdendo o $ PATH original porque estava usando "PATH" em vez de $PATH , por isso foi interpretado como uma string simples e tudo o que você estava fazendo era configurar seu caminho para:
PATH:/usr/local/jdk1.7.0_25/bin