Agradeço a ambos por suas respostas, embora sejam úteis. Encontrei a maneira mais fácil de determinar por que isso está acontecendo.
Usando o Image Viewer padrão, cliquei com o botão direito do mouse na imagem - > Propriedades - > Guia Detalhes - > Expandir o grupo Dados da imagem > Orientação . Este meta-dados diz ao visualizador e ao Ubuntu como visualizar a imagem.
Isso só é possível porque a câmera tem um acelerômetro que pode descobrir qual é o caminho e salva isso como meta-dados no arquivo. O Visualizador de Fotos do Windows não sabe como lidar com esses metadados e o ignora, exigindo, portanto, rotação, que modifica os dados originais, para uma visualização adequada.