Primeiro, você precisa criar um arquivo .desktop referenciando seu java instalado manualmente. Portanto, crie um arquivo .desktop em ~/.local/share/applications
(por exemplo: myjava.desktop) com o seguinte conteúdo:
[Desktop Entry]
Name=My Java environment
Comment=OpenJDK
Exec=cautious-launcher %f /path/to/java -jar
Terminal=false
Type=Application
Icon=openjdk-6
MimeType=application/x-java-archive;application/java-archive;application/x-jar;
NoDisplay=true
cautious-launcher
é apenas um programa que avisa o usuário se o arquivo que está tentando executar não possui permissões de execução.
Você também deve substituir o nome e o caminho do java instalado manualmente.
Depois disso, você deve ter uma nova entrada nas opções "Outros aplicativos" separador (nesta captura de tela já aparece em "Aplicativos recomendados" porque eu já usei para abrir um .jar):
Se a entrada não aparecer, tente executar update-desktop-database
em um terminal.