Você construiu o kernel de maneira errada. A maneira de o Debian construir um kernel é:
fakeroot debian/rules clean
fakeroot debian/rules binary-headers binary-generic
Isto irá construir o kernel do Ubuntu 4.4.0-31 se você retirou a tag correta.