Use o seguinte:
(with-eval-after-load 'ox-latex
(add-to-list 'org-latex-classes
'("report"
"\documentclass{report}"
("\chapter{%s}" . "\chapter*{%s}")
("\section{%s}" . "\section*{%s}")
("\subsection{%s}" . "\subsection*{%s}")
("\subsubsection{%s}" . "\subsubsection*{%s}"))))
Isso ajusta a variável assim que o pacote ox-latex é carregado.