Esse é o comportamento esperado. Uma vez que você tenha visitado uma página pela primeira vez, o arquivo CSS será armazenado em cache no seu PC e não precisará ser baixado novamente - portanto, parece que ele deve ser baixado primeiro nas páginas seguintes. Para contornar isso, você precisaria desativar o cache em seu navegador da web - embora isso não seja uma ação inteligente, já que você tem uma conexão lenta.
Espero que isso ajude.