Se você tiver sorte, o aplicativo usa arquivos .nib para a janela principal. Se for esse o caso, você deve ser capaz de usar o XCode para editar o arquivo .nib e alterar as propriedades da janela para que ele não mostre um botão fechar.
Para fazer isso, clique com o botão direito do mouse no aplicativo no Finder e selecione "Show Package Contents". Em seguida, navegue até Conteúdo > Recursos > some_language.lproj e veja cada um dos arquivos .nib.
Em seguida, clique duas vezes no que parece provável, se você tiver o XCode instalado, deverá estar na visualização do editor. Desative os controles da janela e salve.
Você pode remover pastas de idiomas .lproj diferentes do idioma que deseja usar, para não precisar repetir o processo para todos os idiomas suportados pelo aplicativo.