O Systemd suporta a limitação do uso da memória por meio da opção MemoryLimit, conforme descrito em: link
A forma como o sistema manipula a situação quando a memória máxima permitida (por serviço) é esgotada depende da implementação do cgroups subjacente e da maneira como o sistema implementa o controle de recursos; Eu estou supondo que o processo seria morto (via OOM killer).