Para desativar permanentemente: desinstale e desative! Dessa forma, nunca é chamado.
Se você vê algum benefício de desempenho, realmente depende de quanto hardware você vai desativar, juntamente com coisas como o brilho da tela, o que você está executando etc. E o que você está preparado para desativar - por exemplo, matando o seu wifi vai economizar bateria, mas eu acho que isso não seria uma opção.