Fumaça quase sempre não é um bom sinal quando se trata de eletrônica delicada. Geralmente é um sintoma de algo no adaptador que está passando por uma reação química causada por um calor excessivo gerado provavelmente pela corrente mais atual passando por um componente que pode manipular. Se persistir, isso pode eventualmente levar o adaptador a acender o que estiver em contato com ele, o calor gerado e pode levar a um incêndio.
Meu palpite para o motivo pelo qual seu adaptador para de fumar quando você desconecta é provavelmente porque o circuito de controle é capaz de detectar que ele está desconectado e se desliga cortando ou reduzindo a corrente para um nível onde a reação química não pode ser sustentada dentro desse prazo.TL; DR; Adaptador possivelmente defeituoso e usá-lo nesse estado é possivelmente perigoso. Altamente recomendo reciclar e obter um novo.