Não, isso não é uma má ideia. Muitos dispositivos que você pode encontrar estão rodando linux sem partição swap. Por exemplo, existem muitos modelos de roteadores DLink com linux dentro. O único problema possível é que ele pode ficar sem memória. No entanto, com soluções incorporadas, isso não deve acontecer se o sistema for adequadamente projetado (sem vazamentos de memória, e.t.c.) e o usuário não puder iniciar nenhum programa extra por conta própria.