Este parece ser o caso. Eu tentei a mesma coisa com o mesmo cartão. Uma vez a cada 20 vezes que faço ifup eu posso ver o SSID, e quando eu vejo isso é praticamente impossível se conectar devido à perda de pacotes e latência.
Eu atualizei o kernel para o 3.6.6 e compilei o hostapd 1.0.
Sem melhorias.
(Update: Eu comprei um TL-WDN4800 em vez disso. Nenhum problema em todos. Consegui trabalhar em apenas alguns minutos usando hostapd 0.7.3 e kernel 3.6.6.)