Ao usar os kernels debian packaged do Ubuntu, eu construo kernels arm64 da mesma forma que os seguintes (você deve ser capaz de substituir o arm64 pelos flags específicos do armhf arch que correspondem ao seu alvo e cross-compilador).
export ARCH=arm64
export $(dpkg-architecture -aarm64); export CROSS_COMPILE=aarch64-linux-gnu-
fakeroot debian/rules clean
debian/rules build
fakeroot debian/rules binary
Para versões subsequentes, uso:
rm debian/stamps/stamp-build*
debian/rules build
fakeroot debian/rules binary