Você pode realmente usar muitas imagens diferentes. Qual deles você usa apenas muda como instalar o cliente mysql.
Você poderia usar o debian assim
FROM debian
RUN apt-get update && \
apt-get install -y mysql-client
CMD mysql {mysql-client-options} < {sql.script}
Se estiver usando o alpine, basta alterar a instalação para usar apk
FROM alpine
RUN apk update && \
apk add mysql-client
CMD mysql {mysql-client-options} < {sql.script}