Não usei Java. Mas com base em sua linha de comando, fiz um arquivo .REG.
Windows Registry Editor Version 5.00
[HKEY_CLASSES_ROOT\.fxml]
@="fxmlfile"
[HKEY_CLASSES_ROOT\fxmlfile\shell\open\command]
@="javaw.exe -jar PATHTOSceneBuilder.jar \"%1\""
Isso pressupõe que javaw.exe e pathtoscenebuilder.jar estejam incluídos no Path ou que ocorram erros ao clicar duas vezes em arquivos .fxml.
(Como alternativa, você pode usar um utilitário de terceiros para criar / modificar associações. FileTypesMan - Alternativa para o gerenciador de 'Tipos de arquivo' do Windows )