Die maildirsize Datei ist für courier setups, deswegen wird sie bei dovecot setups nicht aktualisiert. Dovecot liest bei ispconfig 3 die Maildirgröße direkt aus der mysql DB. Hast Du die maildirsize Datei von einem courier setup vielleicht mit den Emails zusammen rüberkopiert und somit die Mailgrößen Einstellungen von ISPConfig überschrieben?