Ok, sim, foi o canal. Provavelmente deveria ter tentado isso antes de fazer a pergunta.
Coloquei o roteador entre o teto do subsolo e o primeiro andar entre duas vigotas de piso. Há uma abertura de metal reflexiva nessa área também. De acordo com este link , esse não é um ótimo canal:
Your router should be out in the open; don’t put it under your desk, in a drawer, or behind a metal file cabinet.
Eu havia colocado o roteador aqui porque o RSSI aqui era o mais alto, conforme medido pelo inSSIDer. Eu acho que o RSSI está medindo a potência bruta, não a qualidade real do sinal. Talvez alguém possa lançar alguma luz sobre por que a potência bruta (RSSI) não significa necessariamente uma boa qualidade de sinal.
Colocar o roteador em um local mais aberto elimina os sintomas e eu fico um pouco variável, mas constantemente sub 10ms ping vezes.
Um fator secundário acabou sendo a configuração de canal automático do roteador. Ocasionalmente, o roteador fará uma varredura nos canais e começará a trocar de canal rapidamente. Isso pode causar uma desconexão ou falha no ping. Para fixar, defina o número do canal para um canal estático. Veja este artigo da base de conhecimento para mais informações.