O XULRunner é basicamente uma plataforma que permite executar aplicativos XUL. Como você provavelmente sabe, os addons para Firefox e Thunderbird são na verdade aplicativos XUL. Você pode rodar o Chatzilla independentemente do Firefox usando o XULRunner, por exemplo.
A relação entre o XULRunner e o Firefox é que o Firefox provavelmente poderia ser descrito como um pacote XULRunner / Gecko. O XULRunner faz o trabalho das aplicações XUL, enquanto o Gecko faz a renderização.
Dependendo do que você deseja alcançar estudando o código-fonte do Firefox, talvez você não precise se familiarizar com o XULRunner.