Acontece que isso estava relacionado ao modo como eu configurei o VPC na AWS.
A descoberta automática de MTU deve funcionar, mas depende do retorno do tráfego ICMP. Acontece que, embora estivéssemos permitindo o ICMP em nossa sub-rede privada por meio dos grupos de segurança da AWS, não permitíamos o ICMP em nossa ACL de rede VPC. Abriu isso e o problema baseado em MTU desapareceu.
Certifique-se de verificar suas ACLs de VPC, além de seus grupos de segurança.