Sim, no servidor ARR, para o site que primeiro captura a solicitação (Site padrão por padrão), defina uma página de erro personalizada de 502.4. Você pode definir outro para 502.3 para situações de tempo limite.
Observe que, por padrão, ele mostrará a mensagem de erro detalhada no servidor local, essencialmente ignorando sua página personalizada. Então, teste off-box ou altere as configurações de erros personalizados.