@mav:
Es gibt 2 unterschiedliche Ratios:
a) das eine schaut nur auf den eingestellten Upload und limitiert danach
b) das andere schaut auf den tatsächlichen Upload

Normal gilt immer a) . b) kommt nur zum Einsatz wenn USS aktiviert ist (oder auch NAFC).

Dann könnte ich ja jedenMuli zum Leechen benutzen. Desweiteren hätte ich die Statistik ja auch nachträglich verändern können um nicht als Leecher dazustehen, was ich aber nicht getan habe, da sie sonst ja nicht aussagekräftig ist. Xman, du kennst mich doch und du weisst das ich alles bin (z.B. etwas langsam im verstehen) nur kein leecher.

Mit freundlichen Grüssen
mav744

Richtig und bei mir gilt auch a).

Ich denke mal da liegt auch das Hauptproblem ! Wenn man wie unter b) beschrieben den Download begrenzt ohne den Overhead drastisch zu senken hat man einen schlechten Download und die User nehmen den nächsten Mod der ihnen besseres Verspricht.

Es ist zwar traurig,aber wahr die Mods werden meist am Download gemessen und nich am stabilen Upload :-( .

Deswegen verfolge ich ja auch die Implementierung von NAFC in die v0.45b mit regem Interesse. Es ist sicherlich keine Patentlösung (die wird es wohl auch nicht geben),aber meiner Meinung nach ein gewaltiger Schritt in die richtige Richtung. Ein guter Download bei stabilem Upload und ein verschwindend geringer Overhead das ist es woran man arbeiten muß. Alles andere sind Mod-Spielereien und Effekthascherei.

MfG Max

Den Overhead zu senken, das isr wichtig. Ich habe leider sehr oft einen monströsen Overhead, der dann meinen Upload stark einschränkt, was mir nicht passt. Dieses Prob habe ich selbst dann wenn ich alles so einstelle wie es von Xman vorgeschlagen wird. Teilweise muss ich sehr viele Dateien aus dem Share nehmen, weil dort zu viele Anfragen kommen. Naja, warten wir mal ab, ob es dafür mal ne gute Lösung geben wird, NAFC ist schon ein richtiger Schritt, da stimme ich zu.

Mit freundlichen Grüssen
mav744

@nav
die Leecheraussage war mit großer Portion Ironie versehen... zu erkennen am smilie ;-)

wie recht Du hast. Aus diesem Grund ändert auch der offizielle emule (und auch ich) das System nicht. Würde es geändert werden, so wäre mav begrenzt worden... und mav ist ist einer von verdammt vielen Usern, die genau das gleiche Problem haben: der Upload geht in den Keller wegen zu niedriger Uploadbandbreitenkapazität.

Jep...volle Zustimmung,deshalb interessiert mich auch alles was diesen Effekt lindert ob es nun eine Begrenzung der maximalen Quellen oder ein umstrukturiertes Uploadmanagement ist.

Aber vielleicht machen uns ja die Provider einen Strich durch die Rechnung und führen aus purer Böswilligkeit in ganz Deutschland SDSL für Jederman ein. ;-)

MfG Max

@Xman
Du, aalerich, Hopie, Max und ein paar andere von unserem schönen Board kennen mich und wissen auch wie ich Up und Downloade. Ich habe deine Ironie schon verstanden, wollte aber nur noch einmal darauf hinweisen, nicht das jemand etwas falsch versteht. Wegen der Overhead Probs suche ich ja schon einen Anbieter der mir eine "schnellere" Leitung bieten kann, aber meinen Voraussetzungen entspricht. Aber da tut ja hier nichts zur Sache.
Selbst ohne Kad habe ich echt Extreme Probs mit dem Overhead, und leider noch keine Lösung in meinem Fall gefunden :bang . Bin aber noch am probieren wie ich es in den Griff bekomme. :think

@Max
Das wäre ein Traum, mit dem SDSL.

Jetzt haben wir ja nen schön Ironischen Thread, ganz nach meinem Geschmack :mrgreen:

Mit freundlichen Grüssen
mav744

Info:

Das Overall Hardlimit läuft mittlerweile relativ genau vorausgesetzt es werden genug Quellen gefunden -> irgendwann soll AutoHL Dateien selbständig starten,wenn die Quellenbandbreite (Max. Global Sources) nicht voll ausgenutzt wird.

Der Min und Max Wert wird momentan automatisch gesetzt um fertige,pausierende,gestoppte oder neu hinzugefügte Dateien ein zu beziehen ohne jedes mal neue Werte eingeben zu müssen.
-> Der Max Wert soll zukünftig wegfallen,stattdessen wird der errechnete Min Wert Stufenweise erhöht bis die maximal erlaubte Quellenzahl +- x% erreicht ist. Je dichter man sich diesem Wert annährt desto größer soll die Update Zeit werden um die CPU Last noch weiter zu reduzieren.Wird die maximal erlaubte Quellenzahl +- x% erreicht,schaltet das Auto HL in einen CPU Safe Mode bis die Abweichung zu groß wird oder sich an der Downloadqueue etwas ändert (z.B. fertige Datei oder neuer Download)

Wenn das zufriedenstellend funktioniert denke ich über ein "Hardlimit per File" nach.

Momentan bleibt der Upload stabil bei 12kb/s bis der DL ca. 60kb/s erreicht und bricht dann langsam ein. Der Overhead bewegt sich bei UL 0.8-1.5kb/s und DL ca. 0.5-0.8kb/s laut offiziellem Code. Sowohl UL als auch DL sind zufriedenstellend. CPU und Speichernutzung ist akzeptabel.

MaxHL 4500 / momentan 4045 -> zu wenige aktive Dateien sonst ca. 4300 rum
USS ist aus
Versuche komplette Chunks hoch zu laden ist deaktiviert

MfG Max

Info: [EDIT]

Preview to max v0.1d :

The official release comming soon.

MfG Max

Sorry , für das Doppel-Posting...hier nun mein neues Release Max v0.1d....

Testet bitte das neue "Global Source Limit auf Genauigkeit"....(sowohl Statistik Wert,als auch Transfer Window Wert)-> sollte nahezu identisch sein.
Testet bitte Webcache Statistk auf Plausibilität-> löschen der Preferences.ini ist dafür nötig.

MfG Max

Ich lad mir mal die sourcen und auch mal die bihins und dann werd ich powersharen! ;)

MFG Stulle

Hallo Max,
nach 8 Stunden mal ein Zwischenergebniss.

Dein Global Hardlimit tut es, eine kleine ungenauigkeit ist zwar drin, aber besser geht es nicht. So zwischen 5-15 Quellen liegt das Limit mal drunter oder drüber, aber das lässt sich nicht ändern. Also ich behaupte jetzt mal besser geht es schon fast nicht mehr (bin ja kein Coder, sondern die Nervensäge vom Dienst).

Mit freundlichen Grüssen
mav744

Edit 14.30 Uhr: Bis auf die sache das im Titel komische zeichen angezeigt werden, du weist bescheid was ich meine, läuft alles so wie es soll. Hat man einmal Overall Hardlimit genutzt, willst du es nicht mehr missen. Die CPU last ist voll kommen im grünen bereich und die Speicherauslastung auch. Die gesamt Sourcen im Transferfenster stimmen mit denen in der Statistik überein. Webcache kann ich nicht zu viel zu sagen, läuft ja wenig bis gar nichts drüber bei mir. Klar steigt die Cpu last ein wenig an wenn ich den Timer auf einen niedriegeren Wert stelle, da der Max dann ja mehr nachregeln muss bzw. die Intervalle kürzer werden, aber dies ist erträglich.
Ich sage: Glückwunsch es funzt :dance , und das mit gemischten Dateien (also wenig Quellen und Viele Quellen).

Das mit dem Timer erledigt sich dann alsbald auch,da ich beabsichtige den festen timer wert durch einen throttler zu ersetzen. Wozu kurze Update Intervalle,wenn die Quellen eh nahezu in gleicher höhe gesetzt werden? A) Schont das den CPU und B) denke ich mal sollte man die Files einfach in Ruhe lassen wenn man das richtige Hardlimit gefunden hat und dieses nicht andauernd neu setzen.

Allerdings würde ich das Hardlimit doch lieber gleichmäßiger über die Dateien verteilen-> 7-800 ist doch ein wenig krass unregelmäßig,aber dafür ist es ja noch in der Testphase
MfG Max

hallo MaxUpload

ich habe deinen Mod gestern gestartet und das Global Hardlimit auf 3000 gestellt
heute morgen hatte ich 2993 gefundene Quellen :clap

ich glaube ich habe einen Bug gefunden
wenn man im Transferfenster
in den Kategorien erste Spalte statt alle auf unkatalogesiert stellt
stehen oben die Quellen von diesen Dateien
und das GHL richtet sich nach dieser Zahl


wie wäre es wenn du einbaust
dann würden erst die zuviele Verbindungen abgebaut und dann erst wieder neue Quellen
gesucht

würde es Sinn machen wenn das Hartlimit bei einer Datei immer nur ZB 100
über den abgefragten Quellen liegt so daß es nur Max 100 zuviele Quellen pro
Datei gibt

man konnte dann die Zahl reduzieren je höher die die Quellenzahl der Datei und
und je näher die gesamte Quellenzahl dem GHL ist

Hallo and,
 

Kannst du mir das noch etwas näher erläutern ich verstehe nicht so ganz wie du das meinst mit den Kategorien und dem Stellen auf unkatalogisiert.


Hört sich erstmal interessant an muß ich mir dann unbedingt mal anschauen,aber vorerst muß ich das Grundgerüst debuggen und weiter aufstellen...zumindest laut Debug Log -> "Verbose" -Fenster treten da ungewöhnlich hohe Hardlimits auf. Die Frage wäre handelt es sich dabei um ein Berechnungsfehler oder um einen uint Überlauf den ich eigentlich abgefangen habe...so dachte ich zumindest.

Wie plausiebel sind denn die Werte der WebCache Statistik oder benutzt Webcache nicht?

Mir wurde von einem Bug in der Titelleiste berichtet...kannst du das bestätigen?

Richtig müßte dort stehen: "eMule v0.45b Max v0.1d WC 1.9a B3"...bei mav z.B: treten dort aber merkwürdige ASCII-Zeichen auf...Kästchen z.B. .

MfG Max

im Transferfenster bei im Kategorienreiter
bei Alle rechtsklick und den Hacken bei unkatalogisiert machen
jetzt werden die Dateien angezeigt die keiner Kategorie zugeordnet sind angezeigt
diese Dateien Minuten anzeigen lassen
dann ins Statistikfenster gehen dort seht dann bei gefundene Quellen plötzlich ein zu
hoher Wert

habe ich erst gerade endeckt !sieht gut aus !!!

kann ich bestätigen !lauter komische Zeichen !meistens Quatrate zwichen 1-10!

Kann ich auch bestätigen. Beim aktivieren von "Transferraten in Titelleiste" werden lauter komische Zeichen in selbiger angezeigt.

Hi ich fasse das mal grade kurz zusammen:

mav hatte mir den Transferfenster Bug zuerst gemeldet.
Thx mav.

Zusatz von mir:

Das Verbose log vom AutoHL ist völlig daneben...sorry grober Fehler von mir. Könnt ihr also ganz und gar ignorieren.

Fehler bei der Hardlimitberechnung ...um so faszinierender das es trotzdem bei den meisten funktioniert. Bei mir sogar besser als die Debugte Version. Möglich das mich dieser Fehler
zufällig auf eine Verbesserung gebracht hat. Werds nochmal testen was besser läuft.

So nun zu den Antworten welche ich gefunden habe:

-Transferraten im Titel...kleiner Bug der sich durch die Implementierung von Webcache 1.9a eingeschlichen hat..wäre mir bestimmt auch auf gefallen wenn ich nicht prinzipiell darauf verzichte mir dort etwas anzeigen zu lassen ;-). Man muß halt wirklich alles testen.

-Falsche Log Line...kleiner Bug welcher aber das falsche Hardlimit anzeigt.

nach beheben dieses Bugs und der Anzeige des korrekten Wertes stieß ich auf folgendes Problem

-setzen eines zu großen Wertes beim erhöhen des Hardlimits... es war tatsächlich zig mal so groß wie das ursprünglich von mir geplant war....wie bereits erwähnt funktioniert das bedeutend besser ich habe auch schon so eine Ahnung warum. Und seit eben dieser Sekunde sogar schon eine gute Idee mir das zu nutze zu machen.

Da dies soweit geklärt ist wären eigentlich nur noch 2 Sachen interessant für mich zum debuggen...

Inwiefern gibt es einen Fehler in der Webcache Statstic oder nicht ?

Und das überprüfen von and's Beobachtung.

Danke erstmal euch allen ihr habt mir sehr geholfen.

Mfg Max

Bei mir läuft er jetzt seit knapp 5 Stunden und ich wundere mich warum die Quellenanzahl nicht runter geht. Wenn ich mir jetzt nochmal and's Kommentar durchlese, kann ich ihn nur bestätigen.

Warum kann man eigentlich das GSL nicht auf über 4500 setzen? Ich weiß, dass dies in etwa der optimale Wert ist, jedoch hatte ich meine DL's bis jetzt immer so eingestellt, das ca. 30 Files downloadeten und die max. gef. Quellen so bei 8000 lagen. Dabei gingen die zu vielen Verbindungen auch noch gegen null und der Esel rannte einwandfrei...nichtmal mein Router machte mehr schlapp bei diesen Einstellungen.
Sollte es also nicht jedem frei überlassen sein, den für sich optimalen Wert zu ermitteln oder damit ein wenig herum zu experimentieren?

Demzufolge sollte man eigentlich die max.Sources auf 2000-7500 setzen können und die Update Zeit zwischen 1-60 Sekunden. Wäre dann schon interessant zu wissen warum das bei dir nicht geht?! Wenn ihr der Meinung seit ihr werdet durch die Begrenzung auf 7500 Quellen zu sehr eingeschränkt bin ich natürlich auch gerne bereit eure Flexibilität zu erhöhen. Das ist ja immerhin nur als Vorschlag gemeint,ich will hier um Gottes willen niemanden in seinem Forschungsdrang begrenzen.

MfG Max

Das ist mit gar nicht aufgefallen, da ich sowieso nur maximal 6000 Quellen bestellen kann. Sonst würde mein Upload total einbrechen und dasNetzwerk würde zu wenig von mir bekommen. Das heisst, das mein overhead über die Hälfte meines Uploads fressen würde.
Und da ich sowieso immer ohne Kategorien arbeite, ist mir die beobachtung von and nicht aufgefallen. Ansonsten kann ich nur sagen das, das Global Hardlimit bei mir total gut funktioniert.

Mit freundlichen Grüssen
mav744

Ah...ok. Bis 7500 geht's. Habe es nur mit 8000 versucht und der Wert ist beim übernehmen immer wieder auf 4500 zurückgesprungen. Also 7500 ist OK. Meine Erfahrung hat mir gezeigt, dass sowieso nicht mehr drin ist. Wenn jemand noch höhere Werte für sich als optimal ertestet hat, soll er das hier schreiben. Kannst es ja dann immer noch in der nächsten Version erhöhen...

Eine Frage am Rande: Werden Webcache- Downloads zu den den Downloadsessions gezählt?
Ich hoffe mal ja, was die große Anzahl fehlgeschlagener Sessions bei mir erklären würde.

zigq8vc0

Nachricht von Sam...ehm Max meine ich ;-).

Kurzer zwischen Bericht,nicht das ihr denkt ich bin verschollen.

Mein Ziel war es zumindest testweise ein "Global Source Limit" Tolleranz von +-5 % zu realisieren.

Das wären bei 4500 Quellen ein Bereich von 4275-4725 Quellen. Tatsächlich bewege ich mich zwischen 4480-4509 Quellen und das sogar im PassivModus ;-) ,also sage ich mal verwegen wie ich bin... Ziel mehr als erreicht.Was jetzt noch zwingend erforderlich ist,ist ein Update-Time-Throttler-> A) um das Ziel schnellst möglichst zu erreichen, B) um bei Annährung an die gewünschte Quellenzahl die Cpu-Last zu verringern und die Quellenzahl zu stabilisieren und C) bei Veränderungen schnell wieder den PassivModus zu verlassen und die Quellenanzahl auszugleichen.

MfG Max

@MaxUpload
klingt gut! Mach schön brav Deine Tags in den Code... wenn es fertig ist bin ich schon sehr neugierig ihn zu studieren.

Na da schließ ich mich nur an. Wenn ich dir helfen kann... hast ja meine ICQ nummer^^

MFG Stulle

Und wieder ne Info:

Habe meinen Mod um "ACC" von Obelix bereichert und die Erhöhung des Hardlimits abhängig von den MaxCons per 5 Sec gemacht.

Nachteil:

Das AutoHL ist wesentlich softer um nicht zu sagen schwerfällig geworden,da es a) nur noch alle 5s erhöht wird und b) nur noch um so viele Quellen erhöht wird,daß keine "Zu viele Verbindungen auftreten können" (P.S.: rein theoretisch...praktisch werden sie aber auf jeden Fall auf ein Minimum reduziert)

Vorteile:

-wesentlich gleichmäßigere Verteilung des Hardlimits
-starke Reduzierung der Verbindungen
-starke Reduzierung des Overheads-> da keine zu viele Verbindungen mehr existieren muß halt nicht noch mal extra nachgefragt werden
-"ACC" ist besonders geeignet für Router Nutzer ->What you set is what you get!!! Heißt in Klartext,wenn du die maximalen Verbindungen auf 400 setzt bekommst du auch nur noch maximal 401 Verbindung -> ja richtig ein kleiner Bug mal schauen wie ich den fixen kann.

-------------------------------------------------------------------------------------------------------

Zu testen wären dann beim Release:

Welcher Wert Cons per 5s ist optimal für welches Verbindungslimit? !!Die Höhe von Cons per 5 s ist wesentlich für die Agilität von AutoHL verantwortlich,also ruhig mal etwas höher ansetzen als gewohnt. Traut euch ruhig ein Überfahren der max.Verbindungen um mehr als 1 :-) ist praktisch kaum möglich.

Das AutoHL verliert somit aber außer für Power User an Bedeutung,da er sich beim Erhöhen des Hardlimits fast ausschließlich an den max Cons per 5 s orientiert. Es kann also unte rUmständen ewig dauern bis er das Maximale "Global Source Limit" erreicht.

MfG Max

was Du beachten mußt:
schau Dir mal die Funktion IsSourceExchangeAllowed (oder so ähnlich im updownclient).. ich würde das mal an Deiner Stelle checken ob das kompatibel mit Deiner Version ist... am besten auch mal im DebugLog die Meldungen anzeigen lassen um zu sehen ob er auch nicht zu viele SourceExchanges anfrägt.

IsSourceRequestAllowed.... ja die beendet man einfach mit einem return false...gleich nach den deklarationsteil wenn die maximalen verbindungen zu groß sind...also es funktioniert wirklich mehr als perfekt. möglich das ich einge verbindungen vernschlässigt habe...die von webcache z.B.,aber das tut dem effekt keinen abbruch...also lassen wir mal webcache leben mit den paar verbindungen die es braucht ;-). Allerdings glaube ich das bei einem return "false" in IsSourceRequestAllowed alle verbindungen behandelt werden,da die funktion für sämtliche request genutzt wird ?

MfG Max

IsSourceRequestAllowed wird in zwei Fällen aufgerufen:
-wir senden gerade ein normales Filerequest (TCP) und fragen hiermit ab ob ein sourcerequest angehängt werden soll.
-wir wollen einen filereaskping(UDP), dieser frägt zuvor auch IsSourceRequestAllowed ab und falls true dann wird eben statt des UDP-requests ein normales filerequest gemacht

Die beiden Fälle sind verarztet ;-). Fall Nummer 3 ist überspringe den AutoHL Update Zyklus solange wie du das Verbindungslimit überschritten hast. Macht ja auch keinen Sinn das Hardlimit zu erhöhen,wenn die Verbindungen überschritten sind...soll heißen ich kann auch ein Hardlimit von 5000 pro file setzen wenn ich 400 verbindungen eingestellt habe ist bei 401er verbindung pumpe...schicht im schacht :yes:

MfG Max

na ich seh schon... Du hast das bereits alles gut durchüberlegt.
Meine Anerkennung

Das Release der letzten Testversion steht kurz bevor. Es fehlt einfach nur noch eine spezielle Quickstart Funktion für das AutoHL. Dadurch gibt es dann praktisch 3 Erhöhungsmodi für das HL per File.

1)SoftModus mit "normalen" connection settings.

2)SoftModus mit extendet Quickstart -> bis das max Global Source HL erreicht ist.

3)Agressiver Modus->setzt das HL ohne Rücksicht auf MaxConsperFive und MaxCons

Da ACC jeder Zeit aktiv ist kann keiner der erwähnten Modi extrem negative Auswirkungen auf euren Emuli haben ->vorausgesetzt ihr setzt eure max. Connections auf angemessene (moderate) Werte.

Ich persönlich empfehle Variante 1) bei gut verbreiteten Files,Variante 2) bei seltenen Files und Variante 3) bei einer Zwangstrennungszeit kleiner 12 Stunden.

Nach Abschluß der Test Phase und dem fixen evtl. Bugs werde ich dann zur Folgeversion eine Textdatei beifügen die alle Feautures die nicht auf der Originalen Version beruhen näher erklärt.(FAQ)

P.S: Ich hoffe diesmal finden sich besonders viele interessierte Tester,da dies ja nun die letzte Testversion werden wird und die nächste dann bereits ein waschechter Mod mit möglichst wenig Bug's werden soll.

MfG Max

Eigentlich mag ich ja keine Doppelpostings,aber ich winke jetzt mal einfach mit der Zaunlatte da ich ja leider den Thread nicht umbenennen kann.

Also die letzte Basis Version ist released habt viel Spaß mit der Max v0.1e und ich hoffe diesmal auf besonders viel Resonanz um bei der Final dann die meisten Kinderkrankheiten schon beseitigen zu können.

Die nächsten Tage arbeite ich nicht an neuen Sachen sondern stehe euch ausschließlich für Fragen und Bug Reports zur Verfügung.

MfG Max

eMule v0.45b Max v0.1e Statistik [eMule 0.45b Max 0.1e]

Danke 'and'. Sag mal benutzt du einen Router?

MfG Max

nein warum

Wollt nur mal vergleichen wie sich das mit den fehlgeschlagenen Sessions mit und ohne Router verhält,aber es nimmt sich anscheinend wirklich nicht viel.

MfG Max

Bei mir mag das Global Source Limit nicht so richtig funktionieren. Die gefundenen Quellen steigen und steigen...und steigen...
Das finden der Quellen dauert zudem sehr lange, womit man durchaus leben könnte, wenn er sich wenigstens an das Limit halten würde.
Schade: Das GSL ist eigentlich ne super Idee und, wie ich finde, der Webcache 1.9 Mod 'ne super Basis!

Kann ich leider nicht bestätigen. Du hast aber einen Router, glaube ich? Ansonsten mal auf Agressiv mod mit quickstart stellen. Bei mir findet er damit sehr schnell Quellen.

Mit freundlichen Grüssen
mav744

Wollte diesen Beitrag nochmals nach vorne holen, in der Hoffnung das jemand Bescheid weiss.