Finalmente resolvido.
Em Preferências do Guake, desmarque a opção "ativar notificações pop-up na inicialização".
Em seguida, adicione o guake ao Startup Applications e isso é tudo.
Os aplicativos de inicialização podem ser encontrados no painel, essa imagem mostra um exemplo de edição de uma inicialização, mas a adição seria exatamente igual.
Se você quiser encontrar facilmente o caminho para um aplicativo, pode emitir o comando which
$ which guake
Qual seria o retorno
/usr/bin/guake
