Eu não acredito que haja um lugar escolhido de maneira objetiva para colocar aplicativos portáteis. Eles são portáteis, afinal.
A melhor coisa a fazer com qualquer aplicativo portátil é movê-lo e seus arquivos para um diretório e colocar esse diretório em algum lugar que você saiba que não será excluído acidentalmente. Definitivamente, não o mantenha em Downloads, especialmente se você excluir regularmente itens de lá.
Se você quiser que seja facilmente acessível, coloque a pasta que contém o aplicativo na sua área de trabalho. Ele provavelmente não será excluído acidentalmente e estará ali para clicar. Você pode até criar um link para o executável, se quiser ainda mais conveniência. Você também pode colocar a pasta em seus documentos.
Até onde eu sei, o Ubuntu não tem espaço designado para aplicativos portáteis. Basta colocá-los onde eles não serão removidos.