Você pode limitar facilmente a quantidade de memória usada por cada contêiner com --memory e --memory-swap para evitar que a máquina inteira seja desativada para OOM.
Você pode encontrar mais detalhes sobre como limitar o uso de recursos de contêineres no link