Se você se sentir à vontade para editar seu registro, a chave relevante deve ser HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\Advanced\DesktopLivePreviewHoverTime
. O valor está em milissegundos.
Informações relevantes foram encontradas aqui .
Como e31415 aponta, a chave pode ser simplesmente excluída para restaurar a configuração para o padrão.
Depois de alterar a configuração, o explorador precisará ser reiniciado. Isso é feito com mais facilidade, saindo e voltando.