Acabou de encontrar a solução. Vá para o registro ( Win + R ) e execute regedit .
Então vá aqui:
HKEY_CURRENT_USER\Control Panel\Desktop\WindowMetrics
E defina os seguintes valores como 0:
BorderWidth = 0
PaddedBorderWidth = 0
Originalmente, eles continham os valores -15 e -60.
Veja este post para mais algumas personalizações.
Meu Windows Explorer agora parece muito mais agradável e profissional: