Ok, eu realmente encontrei a resposta em algum log de commit do dovecot durante a digitação da pergunta.
O comando relevante é address = [...]
não listen
.
Então, agora é assim:
service imap-login {
inet_listener imap {
address = localhost
#port = 143
}
inet_listener imaps {
#port = 993
#ssl = yes
}}
Fonte: link