Existem protocolos como AoE (ATA over Ethernet) que permite a comunicação sem IP. O problema é que esses protocolos não são tão comuns. Na verdade, não vejo nenhum no momento, exceto por dinossauros como os antigos protocolos de compartilhamento de arquivos como Banyan Vines , DECNET , etc.
Existe uma razão pela qual o IP assumiu depois de tudo. A sobrecarga não representa muito mais para o nosso hardware e adiciona flexibilidade.