Ele acessa os Documentos / Imagens do usuário que você executou como (se existirem - se o usuário não tem casa, então pode não funcionar, os navegadores costumam armazenar alguns dados em casa, como perfis e outras coisas).
Caso contrário, a resposta é sim. Nenhum usuário comum pode (de acordo com as permissões usuais em pastas pessoais) acessar residências de outros usuários ou alterar arquivos do sistema. Os detalhes dependem do grupo ao qual você adiciona esse usuário e das permissões exatas dos arquivos que você tem em outros lugares da árvore.
No entanto, você pode querer dar às suas permissões de usuário regulares para ler downloads, caso contrário, os arquivos baixados são bastante inúteis. Isso acaba com o propósito do isolamento.
No entanto ... faz pouco ou nenhum sentido fazer isso, se você sabe o que está fazendo. Os arquivos baixados não podem causar nenhum dano a menos que sejam executados e, para isso, eles precisam da permissão executável (que normalmente não é definida no download). Isso é bastante problema específico do Windows (onde clicar em um arquivo que se parece com dados, mas é um aplicativo, executa diretamente, como nenhum conceito de "permissão de execução" está em vigor, embora versões mais recentes estão incomodando o tempo todo para qualquer coisa que você deseja executar).
Então, resumindo ... se você baixar um script mal-intencionado e não executá-lo, não haverá nenhum dano. Se você quiser executá-lo ... você pode fazer isso como um usuário separado (enquanto o navegador pode ser executado como você mesmo). E, claro, se não for um arquivo binário, mas um script de shell, você sempre pode abrir e ver o que ele faz.
E ainda mais ... o software linux geralmente não vem como executáveis para download - você geralmente tem pacotes, arquivos fonte ou algo parecido. De qualquer forma, quando se trata de baixar arquivos que devem ser executados como executáveis, é melhor você saber o que está fazendo.