Antes de desconectar, digamos, /dev/sdX , faça primeiro um blockdev -flushbufs /dev/sdX para garantir que todos os dados estejam totalmente gravados no disco e não aguardem em um buffer, só para ter certeza.
Em seguida, faça um echo 1 > /sys/block/sdX/device/delete . Isto irá dizer ao kernel que /dev/sdX vai desaparecer e deve ser esquecido. Dependendo dos discos / docas envolvidos, isso pode até desabilitar o disco automaticamente.