O GTK + usa o dimensionamento baseado em caixa, assim como o CSS e outras ferramentas modernas. Além disso, um VBox terá todos os seus filhos orientados verticalmente. Você não poderá adicionar nada à direita.
Você pode usar o GtkLayout para posicionamento absoluto ou um GtkGrid para criar um layout baseado em grade (que é apropriado para a calculadora).