Acho que sua pergunta é um pouco ampla demais. Vou tentar explicar um pouco em termos muito gerais, então você espera obter a essência. Mas eu acho que ler mais sobre networking em geral também seria benéfico se você estivesse interessado nesse tipo de coisa:)
how is wikimedia/wikipedia hosted?
A infraestrutura da Wikimedia e tudo está em sua página wikitech. Pode começar no link
So whatever PC's these two websites are hosted on, they are connected to the internet by a common router, which is then port-forwarded to either of these PC's, right?
De um modo geral, normalmente não há limite para o número de sites por computador (além dos limites de processamento óbvios). Para a Wikimedia, eles usam clusters de servidores com cache, balanceamento de carga, etc. Mesmo que o site resolva um IP público, ainda pode haver muitos serviços diferentes fornecidos por trás do que você se conecta.
I didn't know Wikimedia Foundation would count as an ISP; I thought the ISP would be some other networking firm with a wireless tower here and there(you got the idea), who connects wikipedia with the world with a strong broadband connection.
Sim, a Wikimedia Foundation é tecnicamente um ISP. Eles executam um sistema autônomo com número de AS14907 (EUA) e AS43821 (UE), e suas faixas de IP são registrado em seus ASNs. Um ISP não precisa ser uma empresa extremamente grande, nem precisa fornecer qualquer tipo de conectividade de backbone. Na verdade, muitos (mais?) ISPs não fornecem muito dessa conectividade. A Wikimedia encontra-se em seus datacenters que fornecem conectividade à Internet e conectividade a vários Pontos de troca de Internet . Isso permite que você, usuário final, se conecte à Wikimedia.
Also the IP host is a subdomain of wikimedia.org, which is equally puzzling. How could wikimedia.org be defined and registered even before the IP host had been defined and registered?
Eu não entendo completamente o que você quer dizer. Você quer dizer que o DNS reverso de 198.35.26.96 é "text-lb.ulsfo.wikimedia.org"? Registros reversos de DNS podem ser delegados a qualquer coisa. Eu poderia definir o DNS reverso de um IP que eu possuo para ser "superuser.com", "not.a.valid.website.superuser", ou basicamente qualquer coisa.
Espero que isso tenha esclarecido um pouco a confusão e alguns recursos / ideias para prosseguir:)