Eu encontrei este problema relatado como um bug para 10.04 e 10.10. Supostamente, foi corrigido para essas versões. Acho que foi um problema com o ConsoleKit.
No entanto, parece haver uma regressão ou uma causa inteiramente nova desse comportamento infernal na série 11.xx. Eu inconsistentemente experimentar esse problema no 11.10. Veja este relatório de bug associado: