Acabou sendo um problema de terminologia.
Eu estava tentando enganar o tmux acreditando que TERM = screen-256color, porque não havia entradas st terminfo nas máquinas remotas que eu uso.
Copiei o terminofo st-256color para a máquina remota.
Não é conveniente quando você precisa acessar vários hosts remotos, mas esperamos que st se torne mais popular e as distribuições terão seus terminfos por padrão.