:Rex
é o caminho a percorrer.
Dito isto, <C-o>
funciona como você deseja, aqui. Não sei por que isso não acontece para você. Netrw pode propositadamente se esconder do jumplist mas eu não me lembro de uma opção que governa esse comportamento. Leia :h netrw
apenas no caso.
Você poderia criar seu próprio mapeamento, é claro, para resolver o que parece muito com um bug ou possivelmente um mapeamento sobreposto, mas isso realmente não parece certo para mim.
Qual é a saída de :verbose map <C-o>
?