Para detectar se há um disquete na unidade, a unidade procura. Esta é a luz e o ruído que você está experimentando. Quando você navega de seus discos locais para o seu computador, o Windows Explorer verifica se você inseriu um disco.
Infelizmente, não há como evitar esse comportamento antes de desabilitar a unidade de disquete. Algumas unidades são mais silenciosas que outras, embora eu não tenha certeza de que muitas empresas ainda vendem unidades hoje em dia.
Se você estiver disposto a desabilitar a unidade, poderá fazer isso com frequência na sua BIOS. Isso é muito mais fácil do que desconectar fisicamente a unidade. Alternativamente, você pode (ou pelo menos, usado para poder) comprar unidades de disquete externas. Você pode deixar isso desconectado até precisar usar um disquete.