Datenimport - FAQ
- mlinkwitz
Allgemein
Auf dieser Seite werden FAQs gesammelt, welche den kontinuierlichen Datenimport betreffen.
Kann ich die Feld-Konfiguration ändern, wenn bereits Daten importiert worden sind?
Die Feldkonfiguration wird angewendet, wenn der Import ausgeführt wird. Die Konfiguration mappt die Quellfelder auf die antonyFelder. Wenn diese Felder geändert werden, dann werden alle zukünfigen Änderungen mit der neuen Konfiguration erzeugt. Bereits vorhandene Daten bleiben unberührt.
Um die vorhandenen Daten zu aktualisieren, muss das Datum zurückgesetzt werden, sodass alle Datensätze als Änderungen erkannt werden. Dazu können die Felder last_sync_utc und last_sync_id in der Tabelle _import_state angepasst werden
ACHTUNG: Es kann schnell zu Überlastungen von antony kommen, wenn der State zurückgesetzt wird. Wenn in der Datenquelle beispielsweise 10.000 Kontakte vorhanden sind, werden diese von antony einzeln überschrieben. Das Arbeiten mit antony ist dann nur sehr eingeschränkt möglich, dader MainService sehr belastet wird.
Es wird empfohlen große Imports übers Wochenende vorzunehmen
Kann ich verhindern, dass der Import antony überlastet?
Ja. Es gibt zwei Parameter, welche im Import eingestellt werden können. batch_size und delay_between_batch. Die batch_size definiert dabei, wie viele Änderungen in einem Durchlauf einzeln importiert werden sollen. Mit der Eigenschaft delay_between_batch kann ein Delay in ms eingestellt werden.
Mit dieser sehr einfachen Kontrolle können wie Änderungen, welche angewendet werden begrenzt werden, um eine Überlastung zu vermeiden. Konkrete Werte hierfür müssen experimentell herausgefunden werden.