Para responder à sua pergunta atual: Sim, você perderá todos os seus dados, a mídia de instalação precisa ser formatada!
Normalmente, uma unidade flash USB é usada para instalar o sistema operacional.
No seu caso, se os dados desse WD Passport não forem importantes para você, você poderá usá-lo como uma "mídia de instalação".
Limpar dados não danificará a unidade. Depois de concluir a instalação, você pode reformatar o seu WD Passport e usá-lo como antes.