A maneira mais fácil é instalar o kivy a partir do ppa estável:
sudo add-apt-repository ppa:kivy-team/kivy
sudo apt-get update
sudo apt-get install python-kivy python-kivy-examples
Usar o apt-get
instalará automaticamente todas as dependências necessárias.