AFAIK, coisas como o FreeNAS usam um sistema operacional Linux ou NetBSD customizado como base e por isso deve ser fácil executar outros softwares - de fato, essa é uma das razões para usá-los.
Por outro lado, qualquer dispositivo baseado em Linux, BSD, Mac ou Windows pode ser transformado em um simples NAS, pois um NAS é apenas uma forma de acessar o armazenamento em uma rede. Normalmente usando o SMB, já que a maioria dos dispositivos clientes costuma ser o Windows. Mas há muitos outros métodos de conexão também.
Os sistemas operacionais dedicados da NAS simplesmente tentam tornar a configuração e a execução mais simples. Se você está preparado para aprender alguma mágica de configuração do Linux, então qualquer uma das distribuições do Linux faria você - eu recomendaria o Debian, pois ele é estável, simples e bem suportado.