Em alguns testes informais, descobri que o escape de barra invertida nos sublinhados no nome do arquivo resolveu o problema. Aqui está a totalidade do meu arquivo Org:
#+TITLE: Goober peas
#+CAPTION: Yaw\_Axis\_Corrected.png from Wikimedia
#+ATTR_LATEX: width=5cm
[[~/tmp/Yaw_Axis_Corrected.png]]
Observe as barras invertidas antes dos sublinhados no valor # + CAPTION.
E aqui está o que parecia quando renderizado em PDF. (Não se preocupe com a má qualidade de renderização; isso é apenas algo que ainda não consertei sobre como o tex2pdf se comporta nessa caixa. Não se importe com o fundo preto, aparentemente; o tex2pdf faz coisas estranhas com a transparência PNG.)