O instalador do Xcode 4.3 deve ter removido /Developer/ . Eu acho que brew doctor apenas verifica se existe. Consegui instalar o irssi sem ele.
As versões mais recentes dos SDKs devem estar em /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/ .
Você provavelmente poderia excluir apenas /Developer/ completamente. Consulte Desinstale o Xcode 4 quando ele foi instalado por meio do App Store e Como remover versões anteriores do Xcode .