A configuração do monitor é armazenada em /Library/Preferences/com.apple.windowserver.plist . Você deve poder excluir esse arquivo inteiramente para retornar às configurações padrão.
EDITAR: Encontrou mais alguns. Remova também todo arquivo chamado ~/Library/Preferences/ByHost/com.apple.windowserver. (gobbledegook) .plist .