Você precisa saber que as categorias do Outlook não são mais do que um campo de texto (propriedade) de qualquer item do Outlook, incluindo a mensagem. Isso significa que quando você aplica uma categoria a uma mensagem, o Outlook grava esse nome de categoria como um direito de texto para essa mensagem. É por isso que todos podem ver isso. E você não pode mudar esse comportamento , desculpe.
A lista de categorias que você vê no Outlook (com cores) chamada de Lista de categorias mestras. E isso permite que você veja cores para combinar nomes de categorias.