OK, acabei de encontrar a resposta. Este é um recurso do Windows 2000 exclusivamente para salvar páginas HTM (L), de acordo com este post de 2001:
JSI Tip 3841. O que é o recurso Windows 2000 Connected File?
Ele também diz que ele pode ser desativado adicionando essa chave de registro REG DWORD com o valor 1:
HKEY_CURRENT_USER \ Software \ Microsoft \ Windows \ CurrentVersion \ Explorador \ NoFileFolderConnection
A partir disso, você também pode quebrar a conexão de uma determinada página HTML renomeando a EXTENSÃO da página HTML, por exemplo, para foo.htmlXXX. Eu testei isso, e você terá que clicar duas vezes em OK: para confirmar que você alterou a extensão e para confirmar que você quebrou a conexão com o diretório HTML relacionado, que é exatamente o que eu quero. Em seguida, basta excluir esse diretório e alterar a extensão de volta para foo.html.