A partir da versão 1.15 do docker-compose (possivelmente 1.14), agora você pode usar dois pontos adicionais na definição de porta para o IPv6:
version: '3.3'
services:
app:
image: nginx
ports:
- "::1:8080:80"
O problema relevante pode ser encontrado aqui: link