O melhor que você poderia fazer é olhar para as recentes chaves de registro de documentação e obter a lista dos documentos mais recentes.
HKCU\Software\Microsoft\Windows\CurrentVersion\Explorer\RecentDocs
No entanto, isso não mostrará se um documento está aberto ou não. Você poderia verificar o título de todos os aplicativos abertos, já que muitos aplicativos colocam nomes de documentos em seus títulos de janela, mas isso não é um requisito e muitos aplicativos não fazem isso.