Eu passei muito tempo resolvendo esse problema e gostaria de ajudar outras pessoas que lidam com esse problema. Eu acho que alguns recursos externos do X11 interferiram no trabalho do meu módulo. Depois de desabilitar o GDM, ele agora funciona bem (runlevel 3). Código de trabalho você pode encontrar aqui link trabalhando distro ubuntu 11.04 (gdm desativado )