Eu não acho que você será capaz de fazer isso com uma tabela dinâmica, pois a filtragem não é tão avançada nos itens agrupados. Ou pelo menos não é tão automatizado.
Consegui fazer isso com uma consulta SQL. Você pode consultar o Excel do Excel usando o MS Query e uma conexão de dados (basta apontar a fonte de dados para o arquivo em que você está trabalhando).
Aqui está o resultado final:
A consulta SQL é:
SELECT 'Sheet1$'.category, 'Sheet1$'.item, 'Sheet1$'.number
FROM 'C:\Admin\StackExchange\sql on excel.xlsx'.'Sheet1$' 'Sheet1$'
WHERE 'Sheet1$'.item NOT IN
(SELECT 'Sheet1$'.item
FROM 'C:\Admin\StackExchange\sql on excel.xlsx'.'Sheet1$' 'Sheet1$'
WHERE ('Sheet1$'.category<>'vege'))
AND 'Sheet1$'.category='vege'
Deixe-me saber se você precisa de mais ajuda para configurar a conexão de dados.