Na verdade, a sentença misteriosa
STA/AP BI must match
parece não ter nada a ver com a minha configuração não está funcionando. Acontece que, ao invés disso,
#channels <= 1
foi a chave para fazer funcionar. Eu finalmente entendi que significa que eu posso usar apenas um canal quando eu tenho dois vif no mesmo dispositivo físico (meu Intel Centrino, de qualquer forma), um no AP, o outro no modo de estação. Então eu mudei o canal no arquivo conf hostapd, para o mesmo que eu estava tentando se conectar, e eu não tinha mensagens de erro.
Neste ponto eu configurei o iptables, iniciei o dnsmasq, depois o hostapd por meio de
echo 1 >/proc/sys/net/ipv4/ip_forward
iptables --table nat --append POSTROUTING --out-interface new0 -j MASQUERADE
iptables --append FORWARD --in-interface new1 -j ACCEPT
dnsmasq
/usr/local/bin/hostapd /etc/hostapd/hostapd.conf
e então eu tive isso, um único cartão wi-fi trabalhando simultaneamente como ponto de acesso e cliente para uma rede conectada à Internet.