Oh! Parece que esqueci de postar a resposta.
O problema acima é com o meu processo java, não está relacionado ao docker. Eu erroneamente pensei que o relatório OOM imprime RSS em Kbytes. Isso está errado - o relatório OOM imprime a quantidade de páginas, que normalmente levam 4K a cada .
No meu caso, o pid 26675 leva 64577 páginas para o RSS, o que equivale a (64577 * 4K) 258'308 KBytes. Adicionando 2 processos bash nos dá o limite do CGroup atual - 262144kB.
Assim, a análise adicional deve estar no campo da JVM: análises de heap / metaspace, rastreamento de memória nativa, threads, etc ...