Ao baixar o arquivo, você pode escolher "Abrir com: 'escolher'", onde você deve selecionar o arquivo executável. Está em /usr/bin/transmission-gtk .
Na Caixa de Diálogo Arquivo, eu acho que você tem que clicar em "Sistema de Arquivos" para acessar a pasta raiz ( / )