Você tem a sintaxe da macro kbd errada . <ESC O> seria para uma chave chamada ESC O (com um espaço; os nomes das chaves do Emacs não contêm espaços). Para a sequência de duas chaves ESC then O , use ESC O ou equivalentemente M-O .
(global-set-key (kbd "ESC O") 'toggle-maximize-buffer)