Experimente o nemo (ou nautilus). Ambos executam uma pasta "desktop" em segundo plano e ambos permitem arrastar e soltar. Você não precisa do DE completo para executar o nemo.
Existe um padrão para arrastar e soltar, mas algumas coisas não são implementadas. Quase tudo faz embora.
O gerenciador de janelas geralmente não está envolvido em arrastar e soltar, embora você normalmente precise de algo como o dbus rodando.