Você pode conseguir isso usando a opção "Mesclar e centralizar"
Vocêaindadeveinserirnovaslinhasemesclarascélulasquenãodesejadividir.Vejaabaixoaimagem.
Observação: na verdade, você está mesclando duas ou mais linhas para obter o mesmo efeito que inserir várias células em uma coluna.