Cacheex - schrumpfender cache?

[derdigge]

Hallo liebe Gemeinde!

In einer separierten Cache Instanz bekomme und pushe ich sämtlichen Cache ungefiltert.
Somit gebe ich alle caids weiter, die ich auch bekomme. Das einzige ist ich habe max_time auf 10 Sekunden.
Mein Cache schrumpft nun seit Tagen kontinuierlich. vor 7 Tagen war ein cache von 35000 am abend normal.

Wenn dieser dann gefiltert war auf alle deutschen caids und runter auf 6 Sekunden in der Userinstanz,
blieben immerhin noch ~7000 übrig die ich nutze.

In den letzten 7 tagen sind 4 weitere peers dazugekommen. Nur anstatt der cache wächst, schrumpft er kontinuierlich.
Heute Abend hat er das erste mal die 20000 unterschritten. Gefiltert waren es dann noch 5000.
Na klar ist das immer noch fettig viel aber wie erklärt sich das?
Setzen mich meine Partner kontinuierlich herrab? Haben diese nur hohe "pushes" gefaked um an meinen
"Qualitätscache" zu kommen?
Die Hardware ist locker was gescheites. CPU hat max spitze 35% am Abend und ausreichend Bandbreite.

Im Anhang hier meine oscam.conf. oscam.user(template) und oscam.server(template).
Die templates sind bei allen Usern bzw. Peers identisch, ohne Ausnahme.

Über Anmerkungen wäre ich sehr dankbar.

Grüße derdigge

oscam-1.20-unstable_svn-r9916

oscam.conf

Spoiler

[global]
logfile                       = /dev/null
nice                          = -1
maxlogsize                    = 512
waitforcards                  = 0
preferlocalcards              = 1
block_same_ip                 = 0
block_same_name               = 0

[cache]
max_time                      = 10

[cs378x]
port                          = issnenummer
suppresscmd08                 = 1

[cccam]
port                          = anderezahl
version                       = 2.3.0
reshare_mode                  = 0

[webif]
httpport                      = hierstehtnezahl
httptpl                       = sh
httphelplang                  = de
httprefresh                   = 120
httppollrefresh               = 10
httpshowmeminfo               = 1
httpshowuserinfo              = 1
httpshowcacheexinfo           = 1
httpshowecminfo               = 1
httpshowloadinfo              = 1
httpallowed                   = gugg da nich so hin
httpdyndns                    = gehen Sie weiter, hier gibts nix!
hideclient_to                 = 20

oscam.server

Spoiler

[reader]
label                         = derheisstwie
protocol                      = cs378x
device                        = stehtdrinne
user                          = vorhanden
password                      = gibtesauch
keepalive                     = 1
cacheex                       = 2
cacheex_drop_csp              = 1
group                         = 1

oscam.user

Spoiler

[account]
user                          = existiert
pwd                           = steht eines drin
group                         = 1
cacheex                       = 2

# zwei user pushen zu mir mit multics :
[account]
user                          = stehtdrinn
pwd                           = pasworthaterbekommen
group                         = 1
cacheex                       = 3

 

[janni1]

AW: Cacheex - schrumpfender cache?

Hi,
ich denke, dass Problem liegt daran, dass du ungefilter den gesamten riesigen Cache an alle verteilst.
Die meisten, die ich bis jetzt kennengelernt hab, haben ihren Cache komplett in einer Gruppe.
Sie filtern nicht und nehmen alles, ob gebraucht oder nicht.
Wenn's geht noch ohne Hop-beschränkung und mit "maxtime" jenseits von gut und böse.

Deine Hardware kommt mit dem Pushen so großer Mengen vieleicht noch klar, aber was ist mit den anderen?
Einige, vielleicht sogar die meisten, waren bestimmt so schon an ihrer Grenze.
Jeder Partner den du nun neu aufnimmst, belastet die vorhandenen "Grenzwertigen" nur noch mehr.
Diese müssen immer mehr an ihre Partner pushen, wiel sie ja alles annehmen und in einer Gruppe haben.

Ich denke deren Server werkeln derart am Limit, dass sie systembedingt nun nicht mehr alles Pushen können.
Nicht mit Absicht, sonders weil es die CPUs nicht mehr schaffen. Das fällt ja auch nicht weiter auf, wenn man nicht gerade danach schaut.
Die die es merken, werden ihre Pushes nun filtern oder anderweitig reduzieren, um die Systemlast wieder in den Griff zu bekommen.

Ich habe dieses Phänomen schon ein paarmal beobachtet, wenn ein riesen Cacheklumpen in den "Umlauf" kam.
Es dauerte immer eine Weile, bis sich alles wieder einpegelte. Die Überlasteten fingen an ihre Ein- und Ausgänge zu filtern.

Ich habe allerdings auch schon Feststellen müssen, dass es auch einige gibt, die das mit System machen um an großen/guten Cache zu kommen.
Erst wird gepusht, was das Zeug hält und dann wird Schritt für Schritt reduziert.
Ich mach das dann allerdings daraufhin genauso. Ich reduziere dann bei diesem User auch.

Ein weitere Trugschluß ist auch, dass neue Partner mit sehr gutem Cache auch immer den Cachesize steigen lassen.
Falls diese CWs schon von anderen Partnern vorhanden waren, steigt nur der Counter dieser CWs und die Zeiten werden evtl. besser.
Beim Abrufen des Caches z.B. über einen CE1-Reader könnte man dadurch auch beim Filtern den Wert beim cacheex_cw_check erhöhen.

Ist alles wie gesagt nur eine Vermutung von mir und muß nicht stimmen.

Gruß
janni1

 

[derdigge]

AW: Cacheex - schrumpfender cache?

Hallo janni!

Das ist ein sehr interessanter Ansatz.
Wenn ich das system richtig verstanden habe, müsste ich nur alle pushen mal deaktivieren heute Nacht für 10minuten. Dann bekommen die nichts mehr von mir.
Deren cpu Last normalisiert sich und mein cache musste langsam wieder wachsen.

Das werde ich mal probieren.

Gruß
derdigge

 

[janni1]

AW: Cacheex - schrumpfender cache?

Hi,
ja, das würden dann aber nur mit denjenigen funktionieren, die nicht schon reagiert haben.

Gruß
janni1

 

[kaaslord]

AW: Cacheex - schrumpfender cache?

Janni hat es eigentlich schon angesprochen, die am meisten auftretende Ursache ist die Beschneidung des Caches durch die Anderen. Erst pushen ohne Ende und dann den Cache eingrenzen ist irgendwie in Mode gekommen. Ich beobachte das und verfahre dann ebenfalls so.

 

[derdigge]

AW: Cacheex - schrumpfender cache?

Danke Janni für deine Antwort.

Ich hake nochmal nach ob ich es wirklich richtig verstanden habe.
Du meinst die die reagiert haben, schicken mir "nur hop2" z.b. richtig?

Ein wenig habe ich experimentiert bereits. Die meisten meiner "reader" kann ich auf 3 Hops stellen,
ohne das mein cachesize sinkt. Das spricht eigentlich bereits dafür, richtig?

So mit diesem Wissen erscheint es mir erstens sinnvoll alles auf 3? 4? Hops zu beschränken.
Sowohl reader als auch User.
Des weiteren scheint es mir auch Sinnvoll das die breite Masse sich mal gescheite Hardware besorgt
Das kostet echt nicht die Welt heutzutage

@maikyy
Aber das ist doch schon schade oder?
Ich meine wenn jemand nicht über ausreichend Ressourcen verfügt muss er es doch nur sagen.
Dann werden die lines entsprechend gefahren.

Grüße
derdigge

 

[Bodo-1]

AW: Cacheex - schrumpfender cache?

Ich denke besser Qualität mit maxhop 3 als Quantität und ungefiltert alles hin und her schieben .

Das einige nach einer Weile den cache absichtlich reduzieren kann ich mir gut vorstellen ,geht man einen neuen CE Tausch ein wird gepusht was das zeug hält
Kurze Zeit später schaut es dann ganz anders aus .

Jeder will haben haben haben ............ . Aber geben eher nicht

Geiz ist eben geil auch beim ce tauschen ^^

Gesendet von meinem GT-P5110 mit Tapatalk 2

 

[janni1]

AW: Cacheex - schrumpfender cache?

Hi,

Du meinst die die reagiert haben, schicken mir "nur hop2" z.b. richtig?

Das wäre z.B. eine Variante oder es werden weniger Caids oder weniger Gruppen gepusht als vorher.
Ob nun mit Absicht um dich zu täuschen oder notgedrungen, weil sie die Systemlast unterschätzt haben.

Die meisten meiner "reader" kann ich auf 3 Hops stellen,
ohne das mein cachesize sinkt. Das spricht eigentlich bereits dafür, richtig?

Ich denke der Cachesize muß dadurch nicht unbedingt sinken, es kann sich auch nur der Count/Zähler bei gleichen CWs reduzieren.

So mit diesem Wissen erscheint es mir erstens sinnvoll alles auf 3? 4? Hops zu beschränken.
Sowohl reader als auch User.

Ich finde sowas sollte immer individuell besprochen und entschieden werden.

Aber das ist doch schon schade oder?
Ich meine wenn jemand nicht über ausreichend Ressourcen verfügt muss er es doch nur sagen.
Dann werden die lines entsprechend gefahren.

Jeder will haben haben haben ............ Link Removed. Aber geben eher nicht
Geiz ist eben geil auch beim ce tauschen ^^

Die beiden Aussagen bringt es denk ich genau auf den Punkt.
Ich hab z.B. einige Partner die bekommen von mir mehr, als ich von ihnen bekommen. Das ist mir auch völlig Wurscht, wenn man vorher darüber gesprochen hat.
Andererseits hab ich auch einige, von den bekomme ich viel mehr, als ich ihnen geben kann. Auch das ist kein Problem, wenn man vorher darüber gesprochen hat.
Ich hab z.B. auch einige sehr gute Partner, die lass ich per CE1 auf meinen gesamten Cache,
denn komplett verschicken an alle schafft mein kleiner Server auch nicht mehr.:emoticon-0136-giggl

Gruß
janni1

 

[derdigge]

AW: Cacheex - schrumpfender cache?

Das mit den hops ist doch Aberglaube. All diese vserver stehen doch keine 10ms auseinander. Und selbst wenn dsl hops dabei sind. Kommt man bei 10 hops auf 300, vielleicht 400ms. 1722,1702,09c4,1830 als Beispiel ist da noch locker gültig......

Nun habe ich erstmal 3 hops drinnen überall außer bei 3 Ausnahmen von denen ich seh viel bekomme.

Was wäre denn ein gescheiter caidfilter für die eu?
Habe mir da was an caids zusammegewürfelt weiß aber nicht ob ich alles hab
Vielleicht zeigt janni mal wie er es macht

 

[DarkStarXxX]

AW: Cacheex - schrumpfender cache?

Setzen mich meine Partner kontinuierlich herrab? Haben diese nur hohe "pushes" gefaked um an meinen
"Qualitätscache" zu kommen?

Vorab erstmal sorry für eine kleine Grundsatz Diskussion.

Aber....Mit Qualität hat die Grösse des Caches gar nix zu tun, eher ganz im Gegenteil.

CacheEX wurde vorallen dazu entwickelt dann man den Cache seiner (Eigenen/Lokalen) Karten an andere Leute pusht die ebenfalls die selbe Karten haben.
Und nur wenn man so verfährt (max den eigenen Cache pusht der durch Lokale anfragen erzeugt wird am eigenen Server) stellt man 100% Qualität sicher.

Es macht doch überhaupt keinen Sinn ausser die Leitungen zu belasten 100.000 CW's von X Hops hin und herzupushen.
Das dann viele CW's doppelt und dreifach von mehreren Quellen reinkommen kommt dann noch dazu.

Ich persönlich Tausche lieber mit leuten die mir wenig Cache geben, dafür kann ich dann mit dem Cache auch was anfangen und die Qualität (CW Zeiten etc sind ebenfalls vorallen bei NDS noch Top).

Meine gesamte Cache Size ist meistens nur 200-300 CW's und das ist völlig ausreichend um eine durchschnittliche Hitrate über den Tag verteilt auf 50% zu kommen.

Vielleicht einfach mal als Denkanstoss sehen

Und ja ich war am anfang auch ein Cache Hunter, habe dann aber schnell gemerkt das weniger manchmal mehr ist

 

[derdigge]

AW: Cacheex - schrumpfender cache?

Ich habe nix gegen Philosophie Diskussion.
So oder so habe ich ein 96% cachehitquote bei 09C4 098C 1702 1830 1843 0648
Also quasi alles deutsche vom Satelliten in Deutsch was man so guggt.
Daher gibt's da auch nix zum beschweren. Es geht natürlich nicht nur um Größe.
Darum Dämpfe ich ja mittlerweile auf 8 Sekunden vorm "repush". Dieser Wert erscheint mir sinnvoll, da 1702 1722 noch gültig sind in dem ZeitSegment.

Es macht doch mehr Sinn nach alter anstelle nach Hop zu filtern oder? Den cwcyclecheck mach doch eh jeder lokal?

 

[szonic]

AW: Cacheex - schrumpfender cache?

Stelle doch mal bitte Deine Config des CE hier ein.

96% ist ja ein utopischer Wert.

 

[janni1]

AW: Cacheex - schrumpfender cache?

Hi,
@szonic
seine Configs stehen doch auf Seite1 .

Ich finde den Wert nicht utopisch.
Bei mir sind es z.Z. gerade 93.64%.
Kommt immer darauf an, was für Caids angefragt werden (dürfen).

Gruß
janni1

 

[DarkStarXxX]

AW: Cacheex - schrumpfender cache?

Bei solchen Werten generieren eure eigenen Karten aber kaum Cache und früher oder später bricht das ganze CE System dann zusammen, weil kein Lokaler sauberer Cache erzeugt wird.

 

[szonic]

AW: Cacheex - schrumpfender cache?

Ich dachte da an so etwas:

[cache]
delay =
max_time =
wait_time =
cwcycle_check_caid =
cwcycle_check_enable =
cwcycle_maxlist =
cwcycle_keeptime =
cwcycle_onbad =
cwcycle_dropold =
cwcycle_sensitive =
cwcycle_allowbadfromffb =

Bei ihm steht lediglich:

[cache]
max_time = 10

Sollte das alles sein?