Se você olhar a Von Neumann Architecture básica, a ROM estará em algum lugar da sua Memória, sim. Mas como é uma arquitetura teórica, você não pode mapeá-la 1: 1 para o mundo real. Só está dizendo que há alguma forma de memória na qual os dados podem ser lidos e possivelmente gravados. Se isso é RAM, uma ROM, um disco rígido ou algo assim, seria uma história diferente.
Em o final do artigo da Wiki, você também encontrará algo parecido com o número de caches etc. já não faz parte do modelo.