Para responder a minha própria pergunta, a primeira coisa que fiz foi rodar o urxvt a partir do terminal. Depois de disparar dois ou três deles, eu consegui unicode aparecer. Minha localidade é claramente en_US UTF-8, então deve funcionar de qualquer maneira.
Eu verifiquei um monte de posts do arch e encontrei
que me leva a tentar chsh meu shell em zsh. Funcionou, suporte unicode funciona bem agora. Eu ia salvar fazendo isso até o final, mas aparentemente era totalmente necessário fazer xmonad + urxvt jogar bem.