A configuração do monitor é armazenada em /Library/Preferences/com.apple.windowserver.plist
. Você deve poder excluir esse arquivo inteiramente para retornar às configurações padrão.
EDITAR: Encontrou mais alguns. Remova também todo arquivo chamado ~/Library/Preferences/ByHost/com.apple.windowserver.
(gobbledegook) .plist
.