O OpenKinect é provavelmente sua melhor aposta inicial. Eles têm um pouco em seu wiki sobre instalação para o Ubuntu que vou resumir abaixo:
sudo add-apt-repository ppa:floe/libtisch
sudo apt-get update
sudo apt-get install libfreenect libfreenect-dev libfreenect-demos
sudo adduser $USER video
Em seguida, você pode executar as demos freenect-* como freenect-glview .
E se isso não funcionar (falta de pacote, etc), você sempre pode voltar para o wiki onde eles têm instruções de instalação manual.
Devo salientar que isso ainda não faz qualquer qualquer coisa. É uma biblioteca para interagir com o Kinect e algumas demonstrações de tecnologia. Se você quiser algo mais específico do que os demos, você precisará procurar um software diferente ou precisará escrever algo.