Lendo a documentação do VirtualBox, fica claro que isso não é possível diretamente. Mas tenho uma ideia que funcionará.
Usando uma montagem de fusíveis picfs de Warren Falk, remonte sua área de trabalho para um diretório oculto, digamos .VirtualBox/shared/Desktop
e aponte a caixa virtual para ela. Então, na configuração de montagem do fusível, você simplesmente especifica quais arquivos devem ser ignorados.
Veja aqui para mais detalhes: link
Usando isto, seu Desktop será exatamente o mesmo para o Linux, mas seu VirtualBox verá um diretório controlado. O código do fusível é mesmo em python, por isso é fácil de modificar. Deixe-me saber se você quer instruções.