Would not having enough power (or voltage or amperage) from an adapter make a laptop no longer charge/boot up (if the battery is out of power)?
Sim, poderia, mas é improvável que o adaptador de energia fornecido com um laptop comece a fornecer pouca corrente. Na minha experiência, quando um adaptador de energia para de funcionar, ele falha completamente. Se a luz "plugada" no laptop acender quando você conectá-lo, é provável que o adaptador de energia esteja bem.
No entanto, tenho encontrado casos em que, quando a bateria de um laptop falha, o laptop não liga, mesmo se o adaptador AC estiver conectado. Você pode querer tentar remover a bateria do laptop e ver se ela liga apenas com o adaptador CA conectado.
And would using a different adapter (if the head fit the jack) be a solution to this problem?
Você precisa ter muito cuidado ao usar um adaptador de energia de um dispositivo diferente. Você precisa confirmar que a tensão e a polaridade são as mesmas, e que a corrente que o adaptador pode fornecer é igual ou maior que a corrente fornecida pela antiga. Se você usar um adaptador incompatível, você corre o risco de danos permanentes ao laptop.