Na verdade, estou usando o Ubuntu, mas tenho certeza de que deve haver algo muito semelhante a isso no xubuntu:
Editar conexões de rede - > escolha a conexão à qual você não deseja se conectar, clique em editar - > sob a aba "Geral" desmarque a caixa "conectar automaticamente a esta rede quando estiver disponível"
Repita essas etapas para todas as conexões às quais você não deseja que seu sistema se conecte.