Encontrei a resposta para o meu próprio problema. Vou postar aqui caso minha estupidez ajude outra pessoa. : -)
Na verdade, tenho dois servidores da AWS na Web, com um balanceador de carga na frente deles. Eu descobri que o novo certificado realmente exibido bem no navegador se eu acertar cada servidor web diretamente, mas falhou se eu fui para "www" através do balanceador de carga.
Esqueci de fazer o upload dos novos arquivos de certificado para o balanceador de carga por meio do Management Console da AWS. Esta página descreve o processo:
Atualizando um certificado SSL para um balanceador de carga
Observe que os arquivos de chaves privada e pública que você copia e cola lá devem estar no formato RSA. Esta página da Web descreve como converter seus arquivos para esse formato, se necessário:
Limitações do AWS Load Balancer SSL
Depois de tudo isso, o navegador exibe imediatamente o novo certificado. Sem atraso, sem cache. Obrigado pelos comentários acima de qualquer maneira.