O motivo pelo qual você está vendo esse comportamento provavelmente se deve ao fato de que sua sessão de login já possui um grupo de limite de memória associado, e o processo está herdando isso, de acordo com a configuração do systemd.
Verifique seu cgroup de processo em execução com:
cat /proc/pid/cgroup
... e você pode ver algo como:
13:name=systemd:/user/0.user/2.session
12:debug:/
11:pids:/
10:net_prio:/user/0.user/2.session
9:perf_event:/user/0.user/2.session
8:net_cls:/user/0.user/2.session
7:freezer:/user/0.user/2.session
6:devices:/user/0.user/2.session
5:memory:/user/0.user/2.session
4:blkio:/user/0.user/2.session
3:cpuacct:/user/0.user/2.session
2:cpu:/
1:cpuset:/
Supondo que você não queira esse comportamento, você pode usar seu cgroup personalizado com a edição /etc/systemd/logind.conf
do controlador de memória e remover memory
da linha Controllers
.