Sim, o Universal Media Server é um aplicativo baseado em Java que é distribuído como um arquivo jar executável Java, entre outros (pastas, configuração). Instalá-lo significa apenas que você precisa descompactar o arquivo do pacote de distribuição baixado em uma pasta.
A distribuição inclui um arquivo UMS.sh que inicia a JVM com os parâmetros apropriados. Esta é a maneira de iniciar e usar o Universal Media Server.
O aplicativo java está usando por padrão como diretório de trabalho a pasta onde o arquivo baixado foi descompactado. Então, é bom que você tenha excluído isso.
Além disso, o aplicativo cria uma pasta de configuração em ~/.config/UMS
. Então, você tem que deletar isso também: rm -r ~/.config/UMS
.