É sempre bom ter uma mídia de inicialização para que você possa reparar qualquer problema na instalação interna - como uma falha de energia que causa corrupção no disco. Além disso, você pode querer mostrar a um amigo como o Ubuntu funciona em seu computador. Não há necessidade real de mantê-lo porque você pode recriá-lo sempre do Windows, se necessário.