Verifique a parte inferior da saída da lista do iw para algo assim:
valid interface combinations:
* #{ managed } <= 1, #{ P2P-device } <= 1, #{ P2P-client, P2P-GO } <= 1,
total <= 3, #channels <= 2
* #{ managed } <= 1, #{ AP } <= 1, #{ P2P-client } <= 1, #{ P2P-device } <= 1,
total <= 4, #channels <= 1
(Isto é o que meu Raspberry Pi 3 mostra para wlan0.) Note que o dispositivo suporta apenas um único canal entre as duas interfaces (gerenciadas e AP).
Tente alterar seu hostapd.conf para que o canal especificado corresponda ao da rede em que você está tentando participar.