O que você está procurando é um "roteador LTE". Este dispositivo, que geralmente se assemelha a um ponto de acesso WiFi, executará o tethering (possui um slot para cartão SIM) e expõe a conectividade Wi-Fi e Ethernet da mesma maneira que um roteador DSL.
Uma opção alternativa seria simplesmente usar um telefone celular sempre ligado com um ponto de acesso WiFi (sem roteamento) ... mas o tráfego extra de WiFi tenderia a desacelerar as coisas, e eu esperaria uma confiabilidade geral menor.