and it seems to stay that way from then on until rebooted
Não, isso não acontece.
Is there some way to set a RAM limit per-database?
Não em uma vez.
I don't mind if there is some swapping to disk when I query from the large, seldom-used database
Gostaria que o cache do servidor nunca mudasse.