Se um alias é ou não suficiente, vai depender muito do programa em questão e de como você o utiliza. Se você é o único usuário em sua máquina que usa o programa e sempre o chama de um console interativo e nunca o usa dentro de scripts, um alias pode ser suficiente (a menos que você perceba que as coisas não estão funcionando corretamente).
Mas se você quiser usar o comando em scripts, ou mesmo colocar lançadores nele (no menu GNOME ou no painel do gnome ou em um dock, etc.), então será mais conveniente fazer outra coisa.
Suas outras opções são 1) definir um link simbólico, por exemplo, /usr/local/bin
cd /usr/local/bin
sudo ln -s /usr/java/jdk1.6.0_21/bin/javac javac
Então, javac helloworld.java
deve funcionar.
Ou 2), modifique sua variável ambiental $ PATH para incluir o diretório em questão, por exemplo, em seu .bashrc ou .profile, etc., coloque:
export PATH=$PATH:/usr/java/jdk1.6.0_21/bin
E então todos os executáveis nessa pasta podem ser chamados diretamente.