Open EMM Datanbank

[angel-dd]

Hallo @ All,
da ich einen Web Server mit einer EMM Datenbank bereitstellen möchte, wo jeder seine emm´s raus bekommen kann von dem zeitraum wie er möchte,
brauche ich mal eure unterstützung mit den roh Daten der EMM´s, wenn möglich mit Time Stamp

-> Ergo an alle dauer logger könnt ihr mir bitte eure files uploaden oder per download link zur verfügung stellen? (weitere details per PM)

Ziel ist in der DB alle doppelten EMM´s vorher rausfiltern und denn per smarter web api zur verfügung zu stellen, so muss nicht jeder per PM immer wieder auf bettelkurs gehen. :emoticon-0184-tmi:
Da dies öffentlich zugängliche Daten sind kann ich diesen dienst auch ohne Probleme Öffentlich ohne zugangsdaten bereitstellen.

Zusätzlich sollen auch entwickler die daten einsehen & downloaden können um evt. rückschlüsse im EMM System ziehen zu können.

Danke & Gruß

 

[freddchen]

AW: Open EMM Datanbank

ich glaube du unterschätzt, genauso wie ich die datenmengen....

ich habe selbiges versucht.
Als Datenbank MySQL mit innnoDB tables.

Dann habe ich mir ein Skript gebaut, dass die Log Dateien mit den Emms auseinander nimmt und in die Datenbank einfügt.
Und zwar so, dass jedes Emm nur ein mal vorkommt... also keine doppelten.
Zudem die Tabellen atomarisiert, bzw. die emms auseinander genommen und so eingetragen, dass ich speicher spare.
Z.B. wird der Anfang eines Emms (8270 oder 8200) in eine extra tabelle, die Hex Länge eine eigene, die seriennummern eine eigene.
So werden möglichst wenig Daten doppelt gespeichert.

Dann habe ich beim einfügen mit Threads usw. experimentiert. Allerdings reicht die geschwindigkeit beim einfügen nicht aus, um den datenmengen hinterher zu kommen.
Selbst wenn ich mit mehreren Threads arbeite und die CPU komplett auslaste bekomme ich etwa 30.000 EMM alle 10 Minuten rein.... das reicht aber nicht
Server ist nen KS3, CPU hat 3700 Benchmark punkte.

Hast du evtl bessere lösungswege?
Bzw. hast du schonmal ausprobiert eine große EMM Datei einzulesen? Dafür kannst du ja zum testen die Aktivierer listen hier nehmen

 

[frad80]

AW: Open EMM Datanbank

ich schreibe meine auch in eine mySQL DB und entferne die doppelten Einträge. Wie brauchst du denn die Daten? Was muss entfernt werden aus dem String?

 

[KnEo]

AW: Open EMM Datanbank

Nenn mir nen mySQL DB-Connect und dein Tabellenlayout und ich blas dir gern paar milliarden EMM rein. Das deckt aber nur wenige Tage Aufnahmen ab

Ich hab selbst mit einer mySQL Datenbank experimentiert und für Analysen von EMMs im einstelligen Millionen-Bereich geht das schon (wenn man für das INSERT in die DB einen Tag zeit hat und für das ergebnis jeder SQL Abfrage auch nochmal 30min), aber komplett... puh... Versuch das lieber mit BigData Cloud Diensten wie

Sie müssen registriert sein, um Links zu sehen.

... Ich hätt das gern mal getestet, kann mich aber nur als Privatperson nicht registrieren.