O Xubuntu (como mencionado por @Nuno C. Inácio) é um bom SO para máquinas de baixa especificação.
Se você quiser levar o seu peso leve um pouco mais longe, sugiro baixar a edição do servidor do Ubuntu e, em seguida, instalar o seu gerenciador de desktop e seu gerenciador de arquivos manualmente. A edição do servidor do Ubuntu nada mais é do que uma versão simplificada do Ubuntu, com apenas os pacotes principais necessários para o sistema operacional, sem jogos, sem Gerenciador de Unity / gnome / Desktop. Assim, será tudo no terminal até que você tenha o Ubuntu como você quer, mas essa é a maneira mais limpa de fazê-lo. Você pode instalar o seu gerenciador de desktop, já que eles estão todos disponíveis no repositório do Ubuntu.
Sistema de arquivos sábio, eu gostaria muito de sugerir o uso do btrfs, a razão para isso é que ele fornece checksums em nível de bloco. Portanto, se o sistema de arquivos começar a falhar (como os discos rígidos mais antigos são mais prováveis), você saberá o mais rápido possível se os arquivos estiverem corrompidos. O Btrfs também oferece as opções para o RAID distribuir seus dados por qualquer outro disco de tamanho (também pode ser adicionado dinamicamente). Então, se você tiver outra unidade por aí, você pode instalar isso e configurar um espelho de seus dados para a estabilidade que você está procurando. Se o btrfs encontrar corrupção em um disco, ele coletará automaticamente os dados corretos do outro disco.
Como eu disse, gostaria de sugerir o btrfs, mas acredito que o ext4 seria sua melhor opção. Você definitivamente quer que o registro em diário que ele fornece (o btrfs também, estou apenas dizendo em oposição ao ext2) e seja um pouco mais rápido que o btrfs. O Btrfs não é adequado até o nível de produção. Não é realmente maduro o suficiente para ser usado em um ambiente 'estável'.
Do ponto de vista do kernel, não vejo como uma versão mais nova seria executada mais lentamente em máquinas mais antigas. Eu posso entender como o Desktop (Unity) e tal causariam lentidão, mas se você tira tudo isso e instala seus itens mais leves, eu acho que você deveria estar bem (se não melhor).
Por fim, talvez você queira dar uma olhada no LXDE para um ambiente de área de trabalho: link
Boa sorte!