Eu tenho o mesmo roteador e tive o mesmo problema. A solução para mim era fazer uma pesquisa no site e definir meus canais o mais longe possível dos meus vizinhos.
Se você acha que a latência é a causa, execute ping na sua AppleTV na sua área de trabalho (ou melhor ainda no seu roteador) várias centenas de vezes e verifique se o ping é consistente . Com o N sem fio, ele deve estar sempre abaixo dos 30ms ou mais. Mesmo uma latência de consistente 200 ms não deve interferir no streaming de música.
Outra coisa que você pode querer verificar é que outro dispositivo tem um IP estático definido no seu intervalo de pool DCHP. Isso criaria um conflito irritante que poderia causar esse tipo de problema.