Você pode limitar facilmente a quantidade de memória usada por cada contêiner com --memory
e --memory-swap
para evitar que a máquina inteira seja desativada para OOM.
Você pode encontrar mais detalhes sobre como limitar o uso de recursos de contêineres no link