Você quer fazer o "instantâneo do homem pobre". Eu faço isso com bastante frequência ao criar meus próprios MSIs para software de terceiros com o WIX.
O Process Monitor é provavelmente um pouco detalhado demais para o que você está tentando fazer. Você pode tentar fazer um "instantâneo" do registro usando algo como:
REGEDIT /E BEFORE.REG
E depois, novamente, você pode comparar.
Com o sistema de arquivos, usei o utilitário freeware "FileList" (consulte link ) para gerar um instantâneo "antes" e "depois" do sistema de arquivos.
As modificações nos arquivos existentes são problemáticas. Você pode ter que fazer um instantâneo inicial, localizar arquivos que foram modificados, depois retroceder (normalmente uso uma VM e a funcionalidade integrada de instantâneo de disco para retroceder) e tirar um instantâneo "antes" de cada arquivo que você sabe que vai ser modificado para comparar com a versão "depois".
Lembre-se de que capturar as alterações não é o mesmo que capturar a lógica do programa de instalação. Sempre que possível, a engenharia reversa do programa de instalação é preferível a apenas tentar capturar as alterações. Você pode perder as nuances que você não está vendo devido às circunstâncias da configuração do seu computador instantâneo.
O antigo WinInstall 2003 LE que veio com o Windows 2000 Server faz um trabalho bastante decente gerando esses tipos de instantâneos para fins de referência, mas os MSIs gerados são abismais. (Eu desisti de usá-lo e comecei a fazer instantâneos "manualmente" como descrevi acima.)