Enquanto o carregador estiver conectado, o laptop não será desligado. Também não vai doer as células dentro da bateria.
O único risco potencial pode ser um pequeno arco momentâneo quando você separa a bateria de seu soquete, o que pode atrapalhar os contatos do conector. Não sei se a voltagem e a corrente são altas o suficiente para isso no seu computador.
Você pode dizer se isso está acontecendo, colocando o nariz perto do conector da bateria, remova a bateria e veja se você sente cheiro de ozônio. Se você fizer isso, é melhor desligá-lo antes de remover a bateria. Se você não sentir cheiro de ozônio, não há ação suficiente para se preocupar se você precisar fazê-lo ocasionalmente. Eu ainda não teria o hábito de fazê-lo o tempo todo, porque até mesmo uma quantidade trivial de arcos seria uma porcaria no conector ao longo do tempo.
A exceção seria se o sistema fosse especificamente projetado para troca ao vivo (provavelmente seria discutido no manual do usuário ou você poderia descobrir a partir do serviço ao cliente ou suporte técnico do fabricante). Nesse caso, você pode trocar as baterias pelo conteúdo do seu coração.
Pessoas com laptops fazem isso o tempo todo e eu não encontrei reclamações em fóruns que danificaram sua bateria fazendo isso. Este é provavelmente um risco mais teórico, mas se você puder evitá-lo facilmente, por que não?