A solução foi primeiro criar um tipo MIME para meu formato de arquivo personalizado usando a resposta para essa pergunta: link
Então eu tive que criar um arquivo .desktop para o meu aplicativo que se parece com isso:
[Desktop Entry]
Name=My Application
Type=Application
Exec=java -jar /path/to/my-application
Por fim, tive que registrar meu mimetype no arquivo da área de trabalho adicionando a seguinte linha ao /usr/share/applications/defaults.list:
application/x-my-mime-type=my-application.desktop