Depois de pesquisar um pouco mais, encontrei esta página com o seguinte código:
RewriteEngine On
RewriteCond %{REMOTE_USER} (.+)
RewriteRule . - [E=RU:%1]
RequestHeader set REMOTE_USER %{RU}e
Essa foi a bala mágica que consertou para mim. Eu li algumas páginas que sugerem que isso pode estar incorreto (e de fato parece desajeitado), então sinta-se à vontade para recomendar algo melhor.