A questão era com o próprio Jenkins. Inicialmente, desativamos a porta http do Jenkins e permitimos apenas https. Depois que permitimos o http novamente, só permitimos solicitações do 127.0.0.1 e isso solucionou nossos problemas.
tl; dr: ativa a porta http, permite somente requisições através do 127.0.0.1