Pare o nmcli de solicitar a senha do keyring na bandeja X, mas somente no shell

Question

Eu quero usar um pequeno script para manter a VPN conectada. O problema é que quando eu faço nmcli c up VPN_NAME ele abre um prompt X para digitar a senha do chaveiro. Então eu adiciono o parâmetro --ask mas agora ele pergunta tanto no X quanto no shell. Como conseguir perguntar apenas no shell e não no X mais?