Você não pode aninhar aspas simples. A aspa simples antes de master fechar a string entre aspas, iniciando após --msg-filter .
Como você não pode incluir aspas simples em uma única string entre aspas, é necessário terminar a string e escapar corretamente das aspas:
branch '\'master\'' of http