Você precisa reescrever o URI se ele terminar em .jpg . Você poderia simplesmente adicionar uma instrução rewrite ... break ao bloco location / .
Como você tem um URI anexado à diretiva proxy_pass , o rewrite ... break fará com que o alias de URI seja ignorado. Consulte este documento para obter detalhes.
Uma solução limpa pode ser sempre reescrever o URI, em vez de confiar no efeito de aliasing proxy_pass :
location / {
rewrite \.jpg$ /neuraum/media/public/images$uri$webp_suffix break;
rewrite ^ /neuraum/media/public/images$uri break;
...
proxy_pass https://s3.eu-central-1.amazonaws.com;
}