Uma possível solução é preceder a fonte Emoji assim:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE fontconfig SYSTEM "fonts.dtd">
<fontconfig>
<match target="font">
<edit name="family" mode="prepend_first">
<string>Emoji One Color</string>
</edit>
</match>
</fontconfig>
A fonte Emoji será usada para os emojis mesmo que a fonte principal tenha glifos para os emojis.