Sugiro que você tente definir o endereço MAC do ponto de acesso ao qual deseja se conectar no Network Manager em BSSID. Marque a opção "Conectar automaticamente". Por favor, veja: link Você pode encontrar o endereço MAC aqui:
iwconfig
Por exemplo:
wlan0 IEEE 802.11abgn ESSID:"GBR1"
Mode:Managed Frequency:2.452 GHz Access Point: 88:D7:99:41:54:EE
Bit Rate=18 Mb/s Tx-Power=15 dBm
Retry long limit:7 RTS thr:off Fragment thr:off
Portanto, se eu quisesse tentar fazer com que o Network Manager preferisse o ponto de acesso GBR1, eu definiria o BSSID como 88: D7: 99: 41: 54: EE.