Não é possível dividir uma célula do Excel em partes menores (linhas, colunas).
Este conceito existe em tabelas do Word ou em html, mas não no Excel.
Ao projetar uma planilha, você precisa iniciar a partir da menor unidade de uma tabela, que é uma célula. Conforme discutido nos comentários da sua pergunta, você pode mesclar células para abranger várias linhas ou várias colunas.
As células mescladas introduzem problemas com aspectos da seleção de dados, portanto, use-as com cuidado. Em vez de mesclar células em várias colunas, geralmente é melhor usar o alinhamento de células "Centralizar na seleção".