O Sistema EFI é apenas um sistema de arquivos. Você tem que decidir quais dados são importantes para você lá.
Efivars contém variáveis usadas pelo UEFI e armazenadas no NVRam (provavelmente uma EEPROM), mas 96 itens não são muito grandes.
Você precisa inspecionar a partição do sistema EFI e decidir quais arquivos são importantes. É provável que você tenha vários distribuidores de boot de distribuições diferentes lá. convencionalmente, cada nome de distribuição será um subdiretório do ESP e você poderá excluir essas subpastas se a distribuição não estiver mais em uso.
Se você estiver usando o EFI-Stub, então copys do kernel provavelmente estarão no ESP, talvez você tenha muitas versões antigas do kernel. Se você estiver usando um gerenciador de inicialização como o rEFInd ou o GRUB, ele armazenará alguns de seus arquivos de recursos no ESP, mas geralmente apenas os que ele realmente precisa.
Você também pode ter um ESP (sub-50mb) realmente pequeno e, portanto, os carregadores de inicialização e recursos normais estão apenas preenchendo-o.