Should I be worried?
Não
What do these messages mean
Exatamente o que eles dizem
and why are they in the error log if they're marked as [proxy:debug]?
O proxy:debug
é um LogLevel e a diretiva LogLevel atua somente no ErrorLog. Podemos, portanto, deduzir que essa foi uma decisão de design.