Você pode usar namespaces para isolar o processo desconhecido do resto do sistema; Uma ferramenta que simplifica isso, com uma ênfase específica em segurança, é bubblewrap (que é usada por exemplo por Flatpak ).
Em sistemas no estilo Fedora, é tão simples quanto
bwrap --ro-bind /usr /usr --symlink usr/lib64 /lib64 --proc /proc --dev /dev --unshare-pid bash
mas você deve ler a documentação.
Essa abordagem é mais segura do que usar usuários restritos e mais leve do que usar uma VM. Se isso é melhor depende dos seus requisitos exatos.