Esse é um problema relativamente comum em baterias de íons de lítio. Se descarregarem demais, a voltagem cai além de um ponto de corte e o carregador padrão geralmente não funciona mais. Isso acontece nos celulares também.
(Se você digitar "li ion deep discharge" no Google, poderá começar a entender o assunto.)
Para responder à sua pergunta:
Can I learn more about the problem without replacing the battery (and using a multimeter)?
Sim, você pode verificar se a tensão está "muito baixa", em comparação com o que deveria ser. Os números precisos irão variar de acordo com o modelo e tal.
If the battery is the problem, is there a chance that it would be possible to charge the battery again (and if so how)?
Sim, há uma chance razoável. Quanto a como - você pode usar um carregador de voltagem um pouco mais alto e usar alguns fios para conectar o carregador diretamente nas "aletas" / polos da bateria. (Assumindo que a bateria é removível.)
Por exemplo se o seu carregador normal produzir 12v, use um carregador de 16v ou talvez 18v.
Não é recomendado tentar fazer isso se muito tempo (semanas, meses) tiver passado depois que a bateria tenha ficado 'morta', porque ela pode ter passado por alguma cristalização que poderia causar um curto. Eu não me preocuparia muito com isso, mas era prudente mencionar.