Não, não há necessidade de fazer isso. Ter mais desktops instalados significa que você receberá mais atualizações para fazer o download. Você também terá mais aplicativos do que o necessário para aparecer nos menus, mas se você não achar isso particularmente irritante, não há necessidade.
Eu tenho pelo menos cinco desktops instalados e alterno entre eles o tempo todo. Os aplicativos são completamente independentes na área de trabalho. Você nem precisa ter um desktop instalado para usar o VLC, por exemplo, embora isso seja um pouco desconfortável na maioria dos casos. :)
Na verdade, de tempos em tempos, misturei elementos de diferentes áreas de trabalho ao mesmo tempo, como neste caso, onde executo o Unity com dois monitores e adicionei um painel do Xfce no meu segundo monitor (a parte inferior painel). Isso é bom.