Eu fiz a recompilação para um ambiente do Fedora 23 enfrentando o mesmo problema. Mas para ser exato: Seu problema não é o sistema de arquivos EXT ou XIA que ambos são manipulados pelo script configure (desativando, se o ambiente atual não o tiver), mas o comando fdmount espera que o sistema de arquivos EXT2 esteja presente e exige o arquivo de cabeçalho correspondente. As novas distribuições do Linux parecem mover esse arquivo para outro lugar. Eu usei o seguinte patch:
--- fdutils-5.5/src/fdmount.c.ORIG 2005-03-03 23:09:16.000000000 +0100
+++ fdutils-5.5/src/fdmount.c 2018-03-06 15:11:02.924092624 +0100
@@ -22,7 +22,7 @@
#include <linux/ext_fs.h>
#endif
-#include <linux/ext2_fs.h>
+#include <ext2fs/ext2_fs.h>
#ifdef HAVE_LINUX_XIA_FS_H
#include <linux/xia_fs.h>
Com isto e com a presença do pacote e2fsprogs-devel (comando usado dnf para instalar), eu poderia compilar e instalar o pacote.
Provavelmente você não vai sentir falta do XIAFS (sistema de arquivos Minix) e do velho EXTFS (antigo sistema de arquivos Linux) ... exceto o disquete muito antigo formatado dessa forma (possível, mas não provável).