AW: Open EMM Datanbank
ich glaube du unterschätzt, genauso wie ich die datenmengen....
ich habe selbiges versucht.
Als Datenbank MySQL mit innnoDB tables.
Dann habe ich mir ein Skript gebaut, dass die Log Dateien mit den Emms auseinander nimmt und in die Datenbank einfügt.
Und zwar so, dass jedes Emm nur ein mal vorkommt... also keine doppelten.
Zudem die Tabellen atomarisiert, bzw. die emms auseinander genommen und so eingetragen, dass ich speicher spare.
Z.B. wird der Anfang eines Emms (8270 oder 8200) in eine extra tabelle, die Hex Länge eine eigene, die seriennummern eine eigene.
So werden möglichst wenig Daten doppelt gespeichert.
Dann habe ich beim einfügen mit Threads usw. experimentiert. Allerdings reicht die geschwindigkeit beim einfügen nicht aus, um den datenmengen hinterher zu kommen.
Selbst wenn ich mit mehreren Threads arbeite und die CPU komplett auslaste bekomme ich etwa 30.000 EMM alle 10 Minuten rein.... das reicht aber nicht
Server ist nen KS3, CPU hat 3700 Benchmark punkte.
Hast du evtl bessere lösungswege?
Bzw. hast du schonmal ausprobiert eine große EMM Datei einzulesen? Dafür kannst du ja zum testen die Aktivierer listen hier nehmen