Você poderia ligar manualmente os scripts /etc/init.d do /etc/rc5.d/, para iniciar quando a sua GUI o fizer. E você precisaria de outro para o desligamento.
Mas o Debian tem um método mais avançado (e melhor). Isso controla o que é vinculado a partir dos scripts de init de níveis de execução individuais. É para isso que o "BEGIN INIT INFO" é usado na seção de comentários no topo desses scripts.
Se você está realmente usando o Debian, em vez de apenas usar scripts de um de seus recursos, tente usar
update-rc.d celerybeat defaults update-rc.d celeryd defaults