eMule 0.45b Xtreme 3.0 final [03.05.2005]

[Paul 2]

Xtreme 3.0b2
KAD verbunden
2300 gefündene Quellen
19/5 sec
NAFC an (13.3 KB/s)
alle 4 Std. kommt es beim Netzwerk Adapter für 20 bis 30 Min. zu einbrüchen bis 10 KB/s, sonst gerade gelbe Linie.

[daenemark]

Ich kann mich micht beklagen läuft spitze deine 3.0b2

eMule v0.45b Xtreme 3.0b2 Statistik [daenemark on Xtreme 3.0beta2]
Transfer
   Session UL:DL Ratio: 1 : 1.64
   Session UL:DL Verhältnis (ohne Freundesupload): 1 : 1.64
   Gesamte UL:DL Ratio: 1 : 1.29
   Uploads
      Session
         Hochgeladen: 5.36 GB
         Hochgeladene Daten durch Freundesuploads (Session): 0 Bytes
         Aktive uploads/nötig um Bandbreite auszunutzen: 6
         Gesamtanzahl der Uploads: 7
         Wartende Uploads: 3121
         Upload Sessions: 904
            Erfolgreiche Upload-Sessions: 864 (95.58%) (active: 7, socket: 119, completed: 671, cancelled/ended: 67, different file: 0, exception: 0, others: 0)
            Fehlgeschlagene Upload-Sessions: 40 (4.42%) (socket: 24, completed: 0, cancelled/ended: 16, different file: 0, exception: 0, others: 0)
            Durchschnittlicher Upload pro Session: 6.35 MB
            Durchschnittliche Upload-Dauer: 24:45 Minuten
         Totaler Overhead (Pakete): 178.72 MB (3.80M)
      Gesamt
   Downloads
      Session
         Heruntergeladen: 8.79 GB
         Beendete Downloads: 13
         Aktive Downloads: 26
         Gefundene Quellen: 4039
         Download Sessions: 2229
            Erfolgreiche Download Sessions: 1739 (78.0%) (active: 26, paused: 0, no needed part: 99, timeout: 279, socket: 468, out of part: 867, exception: 0, others: 0)
            Fehlgeschlagene Download Sessions: 490 (22.0%) (paused: 0, no needed part: 17, timeout: 188, socket: 276, out of part: 7, exception: 0, others: 2)
            Durchschnittlicher Download pro Session: 5.18 MB
            Durchschnittliche Downloadzeit: 27:38 Minuten
         Durch Komprimierung gewonnen: 384.17 MB (4.3%)
         Durch Datenfehler verloren: 27.75 MB (0.3%)
         Teile gerettet durch I.C.H: 2
         Totaler Overhead (Pakete): 167.05 MB (4.20M)
      Gesamt
Verbindung
   Session
      Allgemein
         Erneute Serververbindungen: 1
         Aktive Verbindungen (geschätzt): 215 (Halb:6 | Komplett:45 | Andere:164)
         Durchschnittliche Verbindungen (geschätzt): 193
         Verbindungsspitze (geschätzt): 381
         Verbindungs-Limit erreicht: 45 : 29.04.2005 06:37:19
      Upload
         Upload-Geschwindigkeit: 27.7 KB/s
         Durchschnittliche Uploadrate: 29.8 KB/s
         Max. Uploadrate: 33.3 KB/s
         Max. durchschnittliche Uploadrate: 30.0 KB/s
      Download
         Download-Geschwindigkeit: 90.6 KB/s
         Durchschnittliche Downloadrate: 48.9 KB/s
         Max. Downloadrate: 227.4 KB/s
         Max. Downloadrate Durchschnitt: 48.9 KB/s
   Gesamt
Zeit Statistiken
   Letzter Reset der Statistiken: 14.03.2005 11:30:08
   Zeit seit letztem Reset: 47 Tage 22:18 Stunden
   Session
      Programm-Laufzeit: 2 Tage 4:23 Stunden
      Übertragungszeit: 2 Tage 4:22 Stunden (100.0%)
      Dauer auf aktuellem Server: 0 Sekunden (0.0%)
      Dauer auf Servern: 7:25 Stunden (14.2%)
   Gesamt
   Abschätzungen
Clients
   Bekannte Clients: 7577 
   Client-Software
   Netzwerk
   Port
   Niedrige ID: 1240 (16.4%)
   Identifikation (pos : neg): 7212 (95.2%) : 40 (0.5%)
   Problematisch: 0 (0.0%)
   Gebannt: 237
   Gefiltert: 9538
   Leecher 4637

[Ragnarök]

Ich wollt mit paar Freunden eine Datei sharen. Gestern Nacht habe ich den Link bekommen und gleich reingetan. Es waren 10 volle Quellen und sie haten nichts anderes im Share. Trotzdem konnte ich nicht mehr als 0,2 kb/s von jedem laden. Ich dachte, dass das daran liegt, dass ich noch keinen Upload gebe. Also hab ich es einfach gelasen, bis die Datei, die ich gerade lade gehasht ist. Heutemorgen war das immer noch so.

[Xman]

@Paul 2
hmmm.. das sollte natürlich nicht so sein.. ein screenshot wäre nicht schlecht zu sehen.. was Du auch ausprobieren könntest: bei einem solchen Einbruch, ob Surfen noch geht. Hatte sowas nämlich vor ein paar Tagen auch... Verboselog sagte nichts... konnte ich mir nicht erklären.. dann merkte ich, daß auch die Seiten nur noch extrem langsam geladen werden, auch als ich emule ausschaltete... der Grund war wohl beim Provider zu suchen, von dort aus trat der Einbruch auf.
@Ragnarök
entweder Du hattest schlicht und einfach nur Trickleslots von Deinen Quellen bekommen... oder Du hattest NAFC aktiviert. Bemerke: Du bekommst bei NAFC ein Downloadlimit wenn Du zu wenig hochlädst... und da Du ja gar nichts hochgeladen hast...

[schnulli900]

Bin super zufrieden mit der beta2, Danke, gute Arbeit Xman.
Wie Paul 2 habe ich auch im ca. 20min Rhytmus Einbrüche des Netzwerkadapters, mehr oder weniger stark, stört aber nicht wirklich.

eMule v0.45b Xtreme 3.0b2 Statistik
    Transfer
       Session UL:DL Ratio: 1 : 1.61
       Session UL:DL Verhältnis (ohne Freundesupload): 1 : 1.61
       Gesamte UL:DL Ratio: 1 : 1.61
       Uploads
    	  Session
    		 Hochgeladen: 4.46 GB
    		 Hochgeladene Daten durch Freundesuploads (Session): 0 Bytes
    		 Aktive uploads/nötig um Bandbreite auszunutzen: 5
    		 Gesamtanzahl der Uploads: 6
    		 Wartende Uploads: 5010
    		 Upload Sessions: 758
    			Erfolgreiche Upload-Sessions: 725 (95.65%)
    			Fehlgeschlagene Upload-Sessions: 33 (4.35%)
    			Durchschnittlicher Upload pro Session: 6.30 MB
    			Durchschnittliche Upload-Dauer: 29:10 Minuten
    		 Totaler Overhead (Pakete): 245.45 MB (4.78M)
    	  Gesamt
       Downloads
    	  Session
    		 Heruntergeladen: 7.19 GB
    		 Beendete Downloads: 49
    		 Aktive Downloads: 21
    		 Gefundene Quellen: 4404
    			In Warteschleife: 3862
    			Voll: 131
    			Keine benötigten Teile: 350
    			Nachfragen: 1
    			Empfange Hashset: 0
    			Verbindung wird hergestellt: 14
    			Verbinde über Server: 1
    			Zu viele Verbindungen: 0
    			Verbindung LowID zu LowID unmöglich: 0
    			Problematisch: 0
    			Gebannt: 2
    			Andere Datei angefordert: 625
    			Unbekannt: 22
    			via eD2K Server/Queue: 153
    			via Kad: 514
    			via Quellenaustausch: 1275
    			via Passive: 2454
    			eD2K: 4374 (99.3%)
    			Kad: 2610 (59.3%)
    			eD2K/Kad: 2588 (58.8%)
 			UDP Datei-Neuanfragen: 351.68K, Fehlgeschlagen: 33.58K (9.5%)
    			Tote Quelle: 535 (400 + 135)
    		 Download Sessions: 2465
    			Erfolgreiche Download Sessions: 1787 (72.5%)
    			Fehlgeschlagene Download Sessions: 678 (27.5%)
    			Durchschnittlicher Download pro Session: 4.12 MB
    			Durchschnittliche Downloadzeit: 25:09 Minuten
    		 Durch Komprimierung gewonnen: 118.45 MB (1.6%)
    		 Durch Datenfehler verloren: 9.44 MB (0.1%)
    		 Teile gerettet durch I.C.H: 3
    		 Totaler Overhead (Pakete): 204.01 MB (4.97M)
    	  Gesamt
    Verbindung
       Session
    	  Allgemein
    		 Erneute Serververbindungen: 2
    		 Aktive Verbindungen (geschätzt): 226 (Halb:3 | Komplett:46 | Andere:177)
    		 Durchschnittliche Verbindungen (geschätzt): 236
    		 Verbindungsspitze (geschätzt): 437
    		 Verbindungs-Limit erreicht: 0
    	  Upload
    		 Upload-Geschwindigkeit: 23.2 KB/s
    		 Durchschnittliche Uploadrate: 23.9 KB/s
    		 Max. Uploadrate: 29.3 KB/s
    		 Max. durchschnittliche Uploadrate: 25.3 KB/s
    	  Download
    		 Download-Geschwindigkeit: 62.9 KB/s
    		 Durchschnittliche Downloadrate: 38.6 KB/s
    		 Max. Downloadrate: 184.9 KB/s
    		 Max. Downloadrate Durchschnitt: 38.6 KB/s
       Gesamt
    Zeit Statistiken
       Letzter Reset der Statistiken: 29.04.2005 07:14:55
       Zeit seit letztem Reset: 2 Tage 6:16 Stunden
       Session
    	  Programm-Laufzeit: 2 Tage 6:16 Stunden
    	  Übertragungszeit: 2 Tage 6:16 Stunden (100.0%)
    	  Dauer auf aktuellem Server: 7:21 Stunden (13.5%)
    	  Dauer auf Servern: 2 Tage 6:16 Stunden (100.0%)

Der Screenshoot zeigt 2 Einbrüche beim Fertigstellen einer Datei:

[Paul 2]

xman

was Du auch ausprobieren könntest: bei einem solchen Einbruch, ob Surfen noch geht.

kaum merkliche Verzögerung beim Surfen

[Xman]

dann kann es womöglich damit zu tun haben was schnulli sagt:

Der Screenshoot zeigt 2 Einbrüche beim Fertigstellen einer Datei:

Ist leider so und kann auch nicht geändert werden:
wenn emule mehrere Dateioperationen gleichzeitig durchführt (Hashen, laden der blocks für den Upload, met-files schreiben) kommt der Festplattencontroler nicht mehr nach und beide Operationen blockieren sich gegenseitig, was dazu führen kann, daß der ganze emule führ mehrere Sekunden "hängt".

Eine kleine Anekdote aus meiner alpha-Entwicklungsphase....
da dachte ich, nun hab ich einen offiziellen Bug gefunden der zu viel CPU in Anspruch nimmt... hab ihn dann gefixt. Beim Testen dann hat er auf einmal alle 5 Sekunden 99% CPU verbraucht. Ich war mir aber sicher mein Bugfix war korrekt. Fast 3 Tage hab ich gesucht und probiert bis ich dann auf des Rätsels Lösung kam. Ich sharte inzwischen eine 2.6 GB große Datei... ein paar Chunks wurden beim letzten Test fertiggestellt.
Es stellte sich heraus, daß die 99% CPU-Spitzen immer dann auftreten, wenn ich zu viele Clients im Upload hatte, welche bestimmte Chunks von dieser Datei wollten. Hintergrund: Alle 180kb Upload muß wieder ein neuer Block für den Upload gecacht werden. Dazu muß der Block in der Datei gesucht werden. Bei dieser Datei hatte ich nun zwei Probleme... sie war sehr groß... und zudem noch sehr fragmentiert, da meine Festplatte bis auf wenige MB voll war.
Und der Sinn von der Geschicht: ne fragmentierte Platte bringt es nicht.

[Ragnarök]

Zitat von Xman

@Ragnarök
entweder Du hattest schlicht und einfach nur Trickleslots von Deinen Quellen bekommen... oder Du hattest NAFC aktiviert. Bemerke: Du bekommst bei NAFC ein Downloadlimit wenn Du zu wenig hochlädst... und da Du ja gar nichts hochgeladen hast...

Verdammt ... daran lag es. Tut mir leid für die dummen Fragen.

[digitalfrost]

Also erstmal Danke für den Mod, er läuft super und ich bin froh das es nach der 0.30er Version mal wieder einen Xtreme gibt .
Die b2 läuft bei mir problemlos, ich hab allerdings ein Feature Request: Das SafeHash vom eWombat. Ich share sehr viele Dateien und bis der Mod die alle gehasht hat, da rödelts wirklich ordentlich auf der Platte

[Xman]

ja.. safehash wäre ne feine Sache.. dazu gehört aber wesentlich mehr als nur die Jobqueue vom ewombat. Um ehrlich zu sein: der SafeHash ist wohl einer der kompliziertesten Codes. Der Morph hat ihn z.b. (wobei nicht den vom ewombat).. und prompt Probleme damit. Den Code vom ewombat zu übernehmen dürfte verdammt schwierig sein, da der ewombat doch sehr weit vom Original weg ist. Zuletzt kommt noch hinzu, daß dieser Code auch (zumindest in kleinen Teilen) öfters vom offiziellen emule geändert wird.
Diese Punkte lführen mich zu folgender Antwort: falls ich mal sehr viel Zeit und Lust hab... ein paar Wochen Einarbeitungszeit und liebe Leute, die anschließend ein paar Tage das Hashen in allen Variationen testen wollen... ja dann kommt es rein.
Allerdings ne Frage: der SafeHash hasht ja nicht weniger... lediglich etwas ausgeklügelter.. also was bringt es Dir ?

Übrigens.. freut mich, daß er bei Dir gut läuft. Die finale Version ist auf ihren letzten Testrunden.

[MaxUpload]

Über das Hashen gibt es übrigens gerade eine interessante Diskussion. CiccioBastardo hat bzw. hatte ja in seinem Mod (ZZUL Bastard 1.4.2) ein Feauture Namens "NiceHash" es funktioniert leider noch nicht so richtig deshalb ist es wohl gerade inaktiv,man kann es aber leicht finden:

Look for NiceHash tag

Weißt du zufällig mehr darüber? Hab es mir leider bisher noch nicht angeschaut,aber allein die Tatsache das sich auch netfinity in die Diskussion eingeklinkt hat mach die Sache schon sehr interessant für mich zumindest so interessant um sie mal näher zu beäugen.

MfG Max

[digitalfrost]

Soweit ich weiß Hasht der eWombat eine Datei nach der anderen während der offizielle Muli alle Dateien auf einmal zu lesen versucht (oder hat sich dieses Verhalten mittlerweile geändert?).
Jedenfalls würde dieses Feature dann zu weniger Plattenbeanspruchung führen und das hashen würde schneller gehen.

[Xman]

@maxupload
ich hab nicehash schon gelesen... als wort... aber was es macht.. keine Ahnung!
Im Xtreme.. damals noch in der beta Phase des 2.0 hatte ich mal ansatzweise teile von Slugfillers SafeHash implementiert. Folge war, daß der Esel manchmal hängen blieb beim hashen. Also wieder raus damit. Ich hab viel im ep-Forum über Safe-Hash gelesen.. manches mir auch angeschaut und dann gedacht: ohh.. laß das lieber mal andere machen Naja.. vielleicht arbeite ich mich ja da doch nochmal ein... rein so zum lernen wäre es sicher interessant.

@digitalfrost
das macht die offizielle Version schon auch so... sogar schon in alten Versionen (außer ein paar verbugten)... würdest Du alles auf einmal machen würde es x-fach länger dauern, emule nicht mehr reagieren und die Festplatte würde Geräusche machen wie ein Schlagbohrer.
SafeHash besteht aber aus viel mehr als nur "hashen in Reihenfolge". So zum Beispiel gibt es das Problem, daß Chunks evtl. schon geshart werden ehe sie gehasht wurden (also überprüft ob korrekt). Ich denke dieses Problemchen wird irgendwann in den nächsten offiziellen emule-Versionen behoben sein. Im Alltag dürfte es so gut wie nie auftreten.

[MaxUpload]

mir ist der ganze hash prozess als solches sehr suspect,allerdings nur weil ich mich bisher noch nie damit beschäftigt habe. ich denke das wäre mal eine günstige gelegenheit um was dazu zu lernen. wie läuft das eigentlich ab mit dem hashen? beim laden und beim beenden? wenn ich netfinity richtig verstehe hat er beim beenden (?) pausen eingefügt und zwar alle x kopierten MB oder alle 200ms da sonst der upload/download queue stockt bzw. anhält. also stückelt er prinzipiell das beenden und kopieren der datei um nur kurze timeouts zu erzeugen? das funktioniert sicherlich klingt aber für mich doch eher wie eine notlösung,oder?

MfG Max

[Xman]

jetzt wirds interessant.. woher hast Du die Info ? Hab ich einen Thread verpaßt ? Ich finde das ne geniale Idee von netfinity... und zwar mehr als nur ne "Notlösung".