Eu nunca vi papel de parede afetar negativamente o desempenho na própria máquina, mas quando conectado à máquina a partir de uma conexão de desktop remoto certamente pode. Os bitmaps enviados em uma sessão de terminal são muito menores com apenas um fundo de cor sólida.
Suponho que, com hardware de vídeo realmente de baixa qualidade ou um driver de vídeo com bugs, você pode ver um desempenho mais fraco.
Raramente vi o papel de parede ser repintado lentamente depois que uma janela maximizada foi minimizada, mas geralmente é quando há uma tonelada de coisas acontecendo no servidor que consomem uma quantidade considerável de recursos do sistema.