Não deve haver problemas em mantê-lo conectado ao soquete. Com os adaptadores modernos, não há necessidade de se preocupar com a ordem em que você conecta as coisas (a menos que você seja supersticioso). O único problema que eu poderia pensar seria o adaptador ficando quente - você está esquecendo que está sendo conectado e talvez colocando coisas em cima da fonte que poderia causar um incêndio, mas que está empurrando-o.
A outra coisa seria, como você mencionou, o fato de estar atraindo poder. No entanto, isso seria uma quantia tão pequena que você nem deveria perceber isso em sua fatura.
A resposta geral é não, não há nada de errado em deixar a fonte de alimentação conectada à parede enquanto não estiver em uso.