Is it possible that each machine report it's hostname to the server and that server makes it able to ping this machine by it's hostname?
Sim, claro que é possível, você só precisa configurar um servidor ;-)
Em geral, se você quiser configurar um servidor para fazer isso por você, você deve configurar o servidor para fornecer dois serviços, DHCP e DNS para sua LAN, na mesma máquina. Dessa forma, todas as solicitações DHCP precisarão relatar o nome da máquina e o servidor manterá uma tabela de clientes DHCP. IPs estáticos não exigem DHCP, portanto, eles não serão registrados na lista de clientes DHCP. É por isso que sempre uso endereços IP reservados em vez de estáticos: máquinas com endereços MAC em uma lista separada recebem sempre, pelo servidor DHCP, o mesmo endereço IP para que funcionem como endereços estáticos, exceto que relatam seus nomes ao endereço IP. servidor.
Programas comuns para fazer isso estão amplamente disponíveis (DHCP + BIND ou DNSMasq, que faz as duas coisas). Alguns roteadores de consumidores já estão configurados para fazer esse trabalho, por exemplo, aqueles que executam o software DD-WRT ou OpenWRT ou TomatoWRT, mas a maioria não o é.
Uma alternativa é usar a implementação do Serviço de Nomes NetBIOS do WINS, da Microsoft, que existe dentro da suíte Samba também em máquinas * Nix, de modo que tudo o que você precisa fazer é ativá-la. Ou você pode usar mdns (que a Apple chama de Bonjour) para fazer o mesmo com as máquinas * Nix. Basicamente, ao ativar esses programas (programas, protocolos não ) nas máquinas * Nix, você conseguirá o que deseja mesmo sem um servidor central.