Ele está tentando mostrar uma visualização em miniatura do conteúdo desses arquivos (porque entende os tipos de arquivo PDF, DOCX e HTML). É um pouco ridículo na minha opinião, porque isso é útil apenas para fotos. Você também perceberá que, quando você passa o mouse sobre o ícone, também tem opções de navegação de página esquerda e direita (supondo que haja mais de uma página). Muito estúpido por um ícone.
De qualquer forma, veja como desativar isso:
Na barra de menu na parte superior da tela, clique em Visualizar - > Mostrar opções de visualização. Em seguida, desmarque Mostrar visualização de ícone. É isso aí. Talvez seja necessário fazer logoff / voltar, mas os ícones serão revertidos para os ícones de tipo genérico.
Infelizmente, isso também se aplica a suas fotos. Você não pode tê-lo em fotos, mas fora para todo o resto.
Observe também que essa é uma configuração por pasta, portanto, alterá-la afetará apenas a área de trabalho. Você pode clicar no botão Usar como padrão, se quiser, e ele será aplicado a todas as pastas. Você pode então voltar a visualização apenas para as pastas que contêm imagens.