Sim, tudo bem deixá-lo ligado.
Hoje em dia, os fabricantes usam circuitos muito avançados quando se trata de regular as baterias. Isso é para evitar sobrecargas, receber a voltagem errada ou desperdiçar ciclos etc.
Assim que a bateria estiver carregada, o circuito deve parar de fornecer energia para a bateria e o laptop deve tirar energia exclusivamente da rede elétrica.
Então, essencialmente, quando a bateria está carregada, ela não deve ser usada pelo laptop, o que é o mesmo efeito que tirá-lo fisicamente. (O que provavelmente é o motivo pelo qual está mostrando 'Não está carregando', porque a bateria está cheia e, corretamente, parou de carregá-la)
No entanto, isso não é tão comum em laptops mais antigos (com mais de 3 anos de idade), onde você verá que deixá-lo conectado por longos períodos de tempo (semanas ou meses) prejudicará o desempenho da bateria. Isso ocorre porque o circuito de carregamento usado não era tão inteligente.