(Eu vou fazer isso uma resposta agora, mesmo que eu não esteja familiarizado o suficiente com as várias variantes do pendrive USB para recomendar aquelas concretas que fazem o que você quer).
Você não precisa instalá-lo, "tentar linux" significa "executar o Linux a partir deste pendrive". Você também pode obter variantes do Linux em pendrives USB que não fazem essa pergunta, e apenas inicializar a partir do pendrive USB, deixando seu disco rígido sozinho.
O sistema de arquivos que contém os arquivos do Linux no pen drive USB é compactado e, portanto, somente leitura. Isso significa que você não pode instalar novos pacotes da Internet no pendrive, você está restrito aos aplicativos que estão no pendrive. Você também não pode armazenar seus próprios arquivos de dados neste sistema de arquivos. Então essa é a desvantagem de "tentar linux" em comparação com "install linux": Uma vez instalado no seu disco rígido, ele se comporta como um sistema Linux normal, e você pode atualizá-lo e usá-lo normalmente.
Disponibilizar o restante do pendrive para salvar arquivos (se houver algum espaço no pendrive) é uma opção que algumas distros possuem, e outras não. Google um pouco por um que faz. Você ainda não poderá instalar novos pacotes (aplicativos) dessa maneira.