Primeiro, tente clicar em "Scaled" nas preferências de exibição, isso deve exibir todas as resoluções disponíveis em vez das 3 principais.
Se isso ainda não permitir que você selecione a resolução que está procurando, terá as seguintes opções:
Software pago - SwitchResX
Software livre - SetResX
Você também pode editar o perfil de hardware para o monitor externo em /Library/Preferences/SystemConfiguration/com.apple.Boot.plist