Os arquivos REG são arquivos de texto regulares. Você pode abrir pequenos arquivos REG com o Bloco de Notas, mas as exportações totais do Registro podem ter centenas de megabytes de tamanho e o Bloco de Notas não poderá controlá-los. Você pode usar o Notepad ++ ou Sublime Text para visualizá-los.
A estrutura do arquivo REG é descrita na Wikipedia.