Eu tenho o mesmo adaptador WiFi (Lenovo X1) e eu costumava ter um problema semelhante, especialmente ao conectar a redes de 5GHz. Conectar-se a redes de 2,4 GHz é muito mais estável. Os problemas reduziram significativamente quando eu atualizei para 12.04 (alfa na época) e não vi isso acontecer por algumas semanas agora.
Note que fiz uma atualização de 11,10 para 12,04, por isso não é uma instalação nova.
Não tenho certeza se essa é a resposta que você esperava, mas parece que a atualização para 12.04 é o caminho a ser seguido. Existem outras razões também: -)
Observação para todos que sugerirem verificar as configurações do conjunto de chaves ou conexão: na minha experiência, o problema é intermitente e não está relacionado às configurações.