A resposta é sim, mas depende de qual versão do Geany você está usando. Confira esta entrada na lista de discussão e leia a discussão.
A mudança foi cometida em outubro de 2009. Que de acordo com a homepage significa que está na versão "Geany 0.18.1".
Você pode obter essa versão aqui .
Eu pessoalmente estou usando o 0.18, lançado em agosto de 2009, então não testei isso.
EDIT: Após o comentário, verifiquei a fonte e posso confirmar que o código não parece estar lá para reduzir essa funcionalidade.
A resposta, portanto, é que você deve conseguir, mas você não pode.
Eu perguntei no #geany no freenode.net sobre essa funcionalidade ausente, mas ainda não recebi uma resposta.
Você pode obter um resultado se denunciar isso como um bug.