A maneira mais fácil de fazer isso seria exportar todos os seus contatos como um arquivo CSV e, em seguida, abrir o arquivo no Excel, onde você poderá remover as colunas desnecessárias. O outro aplicativo provavelmente também poderá importar do arquivo CSV editado ou do arquivo do Excel.
Você não mencionou qual versão do Outlook está usando, pois o processo de exportação de um arquivo CSV foi alterado algumas vezes.