AVISO: Esta resposta é apenas para 12.04. O arquivo em questão pode mudar em versões futuras, então não tente em outras versões do Ubuntu.
Consegui encontrar a resposta para o meu problema graças a este site. Eu preciso disso para o Ubuntu 12.04 e a linha que eu preciso mudar é a linha 695, então este comando fará o trabalho não importa quantas vezes eu o execute.
sudo sed -i "695s/auth_admin_keep/yes/g" /usr/share/polkit-1/actions/org.freedesktop.NetworkManager.policy