É um problema conhecido com os drivers sem fio, não com o ubuntu específico. (por exemplo: pesquisar por openwrt, você verá que eles também têm problemas)
O pior é que a conexão sem fio é interrompida. Irritante, mas para a maioria dos usuários nada a sério.
A atualização para uma versão mais recente do Ubuntu (por exemplo, 11.10) deve ajudar. Apesar nem todos os problemas estão resolvidos ainda.