Você simplesmente precisa alterar o programa padrão. É bem simples.
Primeiro, clique com o botão direito no arquivo .torrent. Vai aparecer um menu como este:
Selecione as Propriedades (circuladas por laranja aqui)
Em seguida, selecione a guia Abrir com na janela que é aberta:
Sua janela pode parecer um pouco diferente da minha. Se você não vir Transmissão na seção Aplicativos Sugeridos, basta rolar a tela para baixo até encontrá-lo.
Em seguida, clique em Definir como padrão .
Agora você deve conseguir abrir o arquivo .torrent na Transmissão!