O que você está procurando é uma ótima fórmula de rota circular. Se você pudesse desenhar uma linha perfeitamente reta através de uma bola de basquete de um ponto a outro (você terá que passar pela bola) e então transpor essa linha para a superfície, você terá a rota do grande círculo. Aqui está um site que eu uso para calcular essas coisas.
Aqui está a fórmula de Haversine desse site
Fórmula de Haversine:
a = sin² (Δlat / 2) + cos (lat1) .cos (lat2) .sin² (Δlong / 2)
c = 2.atan2 (√a, √ (1 − a))
d = R.c
Onde R é o raio da Terra (raio médio = 6,371km); note que os ângulos precisam estar em radianos para passar para funções trigonométricas!