Não, ele removerá apenas os diretórios do sistema se você for instalá-lo em uma unidade não formatada. Mais, o /etc/apt/sources.list será intacto e tudo em /etc/apt/sources.list.d/ será removido. Além disso, /usr/local será deixado intocado neste processo.
Mas a opção Clean Install , AFAIK, na verdade formata a unidade, para que seus documentos e pastas em / sejam perdidos.