O URL do botão é:
github-mac://openRepo/https://github.com/user/repo
Como os Gists também são repositórios, o URL para Gists seria:
github-mac://openRepo/https://gist.github.com/123456
Assim, o seu código Javascript é:
window.location = "github-mac://openRepo/" + document.location.href
E o seu código de bookmarklet:
javascript:(function(){window.location=%22github-mac://openRepo/%22+document.location.href})();
Para criar este bookmarklet, basta acessar o Gerenciador de Favoritos (ou ⌥⌘B) e adicionar seu link:
Isso agora funcionará para todos os repositórios Git, mesmo os normais.