Não podemos dizer se você está fazendo algo errado, a menos que você diga como tentou os drivers que tentou e quais foram os resultados. O cartão foi detectado? Você poderia ver redes sem fio? O que iwconfig mostra?
Em qualquer caso, você pode querer verificar o driver ath5k . O site linuxwireless.org é uma excelente fonte de informação.
Finalmente, não, o ndiwrapper não deve afetar seu desempenho. Se essa é a única maneira de fazer isso, faça isso. A última vez que tentei foi relativamente fácil configurar uma multa bem trabalhada.