Eu acho que o seu site não é o único site que está nesse ip, até porque se todo projeto no github tiver um ip único.
Nesse servidor provavelmente estão configurados centenas de sites de usuários do github.
E provavelmente eles são configurados usando uma estrutura de host virtual.
Nesse caso, o servidor apache tem muitas entradas no formato de:
<VirtualHost *:80>
DocumentRoot "/blablabla"
ServerName example.gihub.io
<Directory "/blablabla">
....
</Directory>
</VirtualHost>
O ip que você usa é apenas o ip do servidor que hospeda seu site. Tantos sites compartilham o mesmo ip.
É por isso que você não pode acessar sua página diretamente.
E provavelmente eles configuram um erro 404 para todas as solicitações que não usam um host virtual válido. E é por isso que você está recebendo um erro 404 não encontrado.
Para acessar diretamente a página usando o ip, consulte a resposta do andol, usando curl --header etc.