Se o aplicativo em questão se basear em algum dado que esteja sendo mantido no Registro, ele não funcionará em outros computadores em que ele não tenha sido instalado ou, no mínimo, as Chaves de Registro tenham sido adicionadas.
Se o aplicativo se basear em dados em AppData, pastas de usuários ou outros locais específicos do cliente, eles não funcionarão sem copiar todos os arquivos e esperando que você tenha obtido todos eles.
Em suma, se é um aplicativo portátil, sem problemas. Se não for, a maioria das vezes a resposta é não.
Editar: Como este é o Ubuntu, em vez de Registry / AppData, você precisa se preocupar com Dependências. Como você não instalou o programa no computador de destino, e o apt não terá conhecimento de sua existência, quaisquer dependências que você precisar não serão apontadas para você.