nginx e lighttpd costumam ser usados para essa finalidade embora você possa tecnicamente usar qualquer servidor web.
Em geral, o servidor web que você decidir usar deve ser o mais leve possível e suportar sendfile(2) e o tratamento de eventos mais avançado que o sistema operacional oferece (por exemplo, epoll no Linux, kqueue no FreeBSD etc.) .