as colunas não funcionam assim, elas preenchem tudo de um lado e depois passam para o lado seguinte.
Se você quiser inserir artificialmente uma quebra de coluna, está em "Inserir > Quebra manual ... > Quebra de coluna"
Usar uma tabela ou quadro de texto provavelmente está mais próximo do que você deseja.