Eu tenho um Lemur com esse mesmo problema. Parece ser esse bug: link
Usar o kernel 4.4 (e os dois pacotes de cabeçalhos) daqui parece funcionar para mim: link
Atualização: encontrei kernels compatíveis e atualizei o link.
Percebi que o kworker fica muito alto (75%) quando uma porta USB no meu laptop não é usada, assim que eu insiro algo, ele desce para (0.5%).
Laptop: System76 Lemur (Lemu6)
Ubuntu 15.10 x64