Eu resolvi meu problema seguindo a documentação do jenkins
Assegurei que todos os mods estão ativados
a2enmod proxy
a2enmod proxy_http
a2enmod headers
e usou essa configuração
ProxyPass /jenkins http://localhost:8081/jenkins nocanon
ProxyPassReverse /jenkins http://localhost:8081/jenkins
ProxyRequests Off
AllowEncodedSlashes NoDecode
# Local reverse proxy authorization override
# Most unix distribution deny proxy by default (ie /etc/apache2/modsenabled/proxy.conf in Ubuntu)
<Proxy http://localhost:8081/jenkins*>
Order deny,allow
Allow from all
</Proxy>
Talvez a configuração que postei na minha pergunta contenha algum erro. Eu usei porque já estava presente no servidor antigo. Eu mudei Jenkins para um novo servidor.