Monday 23 January 2017

Numpy Gleitenden Durchschnitt Falten

Ich schreibe eine gleitende durchschnittliche Funktion, die die Convolve-Funktion in numpy verwendet, die einem (gewichteten gleitenden Durchschnitt) entsprechen sollte. Wenn meine Gewichte alle gleich sind (wie in einem einfachen arithmatischen Durchschnitt), funktioniert es adaequat: Wenn ich versuche, einen gewichteten Durchschnitt anstelle der (für die gleichen Daten) zu verwenden, 3.667.4.667,5.667,6.667. Ich erwarte, ich bekomme Wenn ich die gültige Flagge zu entfernen, Ich sehe nicht einmal die richtigen Werte. Ich möchte wirklich Convolve für die WMA sowie MA verwenden, da es die Code-Reiniger (gleichen Code, verschiedene Gewichte) macht und sonst denke ich Ill müssen durchlaufen alle Daten und nehmen Scheiben. Irgendwelche Ideen über dieses Verhalten Ich weiß, das ist eine alte Frage, aber hier ist eine Lösung, die keine zusätzlichen Datenstrukturen oder Bibliotheken verwendet. Es ist linear in der Anzahl der Elemente der Eingabe-Liste und ich kann nicht anders denken, um es effizienter (eigentlich, wenn jemand weiß, ein besseres Weg, um das Ergebnis zuzuteilen, lass es mich wissen). HINWEIS: das wäre viel schneller mit einem numpy-Array anstelle einer Liste, aber ich wollte alle Abhängigkeiten zu beseitigen. Es wäre auch möglich, die Leistung durch Multi-Thread-Ausführung zu verbessern Die Funktion geht davon aus, dass die Eingabeliste eindimensional ist, also seien Sie vorsichtig. UPD: Effizientere Lösungen wurden von Alleo und jasaarim vorgeschlagen. Sie können np. convolve dafür verwenden: Das Argument mode gibt an, wie die Kanten behandelt werden sollen. Ich wählte den gültigen Modus hier, weil ich denke, das ist, wie die meisten Leute erwarten, laufen zu arbeiten, aber Sie können andere Prioritäten haben. Hier ist eine Handlung, die den Unterschied zwischen den Modi veranschaulicht: Ich mag diese Lösung, weil es sauber ist (eine Zeile) und relativ effizient (Arbeit getan in numpy). Aber Alleo39s quotEfficient solutionquot mit numpy. cumsum hat eine bessere Komplexität. Ndash Ulrich Stern Sie können einen laufenden Mittelwert mit berechnen: Glücklicherweise schließt numpy eine Faltenfunktion ein, die wir verwenden können, um Sachen oben zu beschleunigen. Der laufende Mittelwert entspricht dem Falten von x mit einem Vektor, der N lang ist, wobei alle Elemente gleich 1N sind. Die numpy-Implementierung von convolve beinhaltet den Start-Transient, also müssen Sie die ersten N-1 Punkte entfernen: Auf meiner Maschine ist die schnelle Version 20-30 mal schneller, abhängig von der Länge des Eingabevektors und der Größe des Mittelungsfensters . Beachten Sie, dass Convolve enthält einen gleichen Modus, der scheint, wie es die vorübergehende Frage ansprechen sollte, aber es teilt es zwischen Anfang und Ende. Es entfernt den Übergang vom Ende, und der Anfang doesn39t haben eine. Nun, ich denke, es ist eine Frage der Prioritäten, ich don39t brauchen die gleiche Anzahl von Ergebnissen auf Kosten der eine Steigung in Richtung Null, die isn39t gibt es in den Daten. BTW, hier ist ein Befehl, um den Unterschied zwischen den Modi: Modi (39full39, 39same39, 39valid39) Diagramm (convolve (one ((200,)), diejenigen ((50,)) 4750, Modem) für m in den Modi zu zeigen Achse (-10, 251, -.1, 1.1) Legende (Modi, loc39Lower center39) (mit pyplot und numpy importiert). Ndash lapis Mar 24 14 am 13:56 pandas ist dafür besser geeignet als NumPy oder SciPy. Seine Funktion Rollingmean macht die Arbeit bequem. Es gibt auch ein NumPy-Array, wenn die Eingabe ein Array ist. Es ist schwierig, Rollingmean in der Leistung mit einer benutzerdefinierten reinen Python-Implementierung zu schlagen. Hier ist ein Beispiel Leistung gegen zwei der vorgeschlagenen Lösungen: Es gibt auch schöne Optionen, wie man mit den Randwerten umgehen. I39m immer durch eine Signalverarbeitungsfunktion geärgert, die Ausgangssignale unterschiedlicher Form zurückgeben als die Eingangssignale, wenn beide Eingänge und Ausgänge dieselbe Natur haben (z. B. beide Zeitsignale). Es bricht die Korrespondenz mit der zugehörigen unabhängigen Variablen (z. B. Zeit, Frequenz), die Plotten oder Vergleichen nicht direkt macht. Wenn Sie das Gefühl teilen, möchten Sie vielleicht die letzten Zeilen der vorgeschlagenen Funktion als ynp. convolve (ww. sum (), s, mode39same39) zurückgeben ywindowlen-1 :-( windowlen-1) ndash Christian O39Reilly Aug 25 15 am 19:56 Ein wenig spät zur Partei, aber Ive bildete meine eigene kleine Funktion, die NICHT um die Enden wickelt, oder Auflagen mit Nullen, die dann verwendet werden, um den Durchschnitt ebenso zu finden. Als weitere Behandlung gilt, dass sie auch das Signal an linear beabstandeten Punkten neu abtastet. Fertigen Sie den Code an, um andere Eigenschaften zu erhalten. Das Verfahren ist eine einfache Matrixmultiplikation mit einem normalisierten Gaußschen Kern. Ein einfacher Gebrauch auf einem sinusförmigen Signal mit addiertem normalem verteiltem Rauschen: Diese Frage ist jetzt sogar älter als, als NeXuS über es letzter Monat schrieb, ABER ich mag, wie sein Code sich mit Randfällen befasst. Da es sich jedoch um einen einfachen gleitenden Durchschnitt handelt, liegen seine Ergebnisse hinter den Daten, auf die sie sich beziehen, zurück. Ich dachte, dass der Umgang mit Rand Fällen in einer befriedigender Weise als NumPys Modi gültig. gleich. Und voll konnte erreicht werden, indem eine ähnliche Annäherung an eine Faltung () basierte Methode angewendet wurde. Mein Beitrag verwendet einen zentralen laufenden Durchschnitt, um seine Ergebnisse mit seinen Daten auszurichten. Wenn zwei Punkten für das zu verwendende Vollformatfenster zur Verfügung stehen, werden laufende Mittelwerte aus sukzessiv kleineren Fenstern an den Rändern des Arrays berechnet. Eigentlich aus nacheinander größeren Fenstern, aber das ist eine Implementierung Detail. Seine relativ langsam, weil es convolve () verwendet. Und könnte wahrscheinlich durch eine wahre Pythonista viel aufgepeppt werden, aber ich glaube, dass die Idee steht. Antwortete Jan 2 um 0:28 np. convolve ist schön, aber langsam, wenn die Fensterbreite groß wird. Einige Antworten bieten effizientere Algorithmen mit np. cumsum aber scheinen nicht in der Lage, Rand-Werte zu behandeln. Ich selbst habe einen Algorithmus implementiert, der dieses Problem gut behandeln kann, wenn dieses Problem deklariert ist als: Eingangsparameter mergenum kann als 2 windowwidth 1 gedacht werden. Ich weiß, dieser Code ist ein wenig unlesbar, wenn u finden es nützlich und wollen einige Expanationen, lass es mich wissen und Ill Update dieser Antwort. (Das Schreiben einer Erklärung kann mir viel Zeit kosten, ich hoffe, ich mache es nur, wenn jemand es braucht. Bitte verzeihen Sie mir für meine Faulheit :)) Wenn nur u in seiner ursprünglichen Version interessiert sind: Sein sogar noch unlesbarer: die erste Lösung Bekommt Kanten Problem durch das Auffüllen Nullen rund um das Array, aber die zweite Lösung veröffentlicht hier behandelt es in einem harten und direkten Weg :) lapis ja, aber sagen können Sie Cumsum-Methode auf die erste Tick und speichern Sie Ihre rollenden durchschnittliche Array für die Nächsten Tick. Jeder Tick danach müssen Sie nur die neuesten gleitenden Mittelwert an Ihre rollende Array im Speicher anhängen. Mit dieser Methode können Sie nicht neu berechnen Dinge, die Sie bereits berechnet haben: Am ersten ticken Sie cumsum danach fügen Sie nur das quotmean der letzten Periode elementsquot, die 2x schneller für alle nachfolgenden Zecken ist. Ndash litepresence Wenn Sie sich entscheiden, Ihre eigenen rollen, anstatt eine vorhandene Bibliothek, bitte bewusst sein, Gleitkomma-Fehler und versuchen, ihre Auswirkungen zu minimieren: Wenn alle Ihre Werte sind etwa die gleiche Größenordnung , Wird dies dazu beitragen, die Genauigkeit zu bewahren, indem immer Werte von annähernd ähnlichen Größen addiert werden. In meinem letzten Satz habe ich versucht zu zeigen, warum es Gleitkomma-Fehler hilft. Wenn zwei Werte annähernd dieselbe Größenordnung sind, dann verliert das Addieren weniger Genauigkeit, als wenn Sie eine sehr große Zahl zu einem sehr kleinen hinzugefügt haben. Der Code kombiniert quadratweise benachbarte Quotwerte in einer Weise, daß gerade Zwischensummen immer in der Grße ausreichend nahe sein sollten, um den Gleitkommafehler zu minimieren. Nichts ist narrensicher, aber diese Methode hat ein paar sehr schlecht umgesetzte Projekte in der Produktion gespart. Ndash Mayur Patel Dez 15 14 am 17:22 Alleo: Statt einer Addition pro Wert, you39ll tun zwei. Der Beweis ist der gleiche wie das Bit-Flipping-Problem. Allerdings ist der Punkt dieser Antwort nicht notwendigerweise Leistung, sondern Präzision. Die Speicherauslastung für die Mittelung von 64-Bit-Werten würde 64 Elemente im Cache nicht überschreiten, daher ist sie auch im Arbeitsspeicher freundlich. Ndash Mayur Patel Dez 29 14 um 17: 04numpy. convolve Gibt die diskrete, lineare Faltung von zwei eindimensionalen Sequenzen zurück. Der Faltungsoperator wird oft in der Signalverarbeitung gesehen, wo er den Effekt eines linearen zeitinvarianten Systems auf einem Signal R17 modelliert. In der Wahrscheinlichkeitstheorie wird die Summe zweier unabhängiger Zufallsvariablen nach der Faltung ihrer einzelnen Verteilungen verteilt. Wenn v länger als a ist. Werden die Arrays vor der Berechnung vertauscht. Erste eindimensionale Eingabefeld. Zweites eindimensionales Eingangsfeld. Standardmäßig ist der Modus 8216full8217. Dies gibt die Faltung an jedem Überlappungspunkt mit einer Ausgangsform von (NM-1,) zurück. An den Endpunkten der Faltung überlappen sich die Signale nicht vollständig, und Grenzwirkungen können gesehen werden. Modus 8216same8217 gibt Ausgabe der Länge max (M, N) zurück. Boundary Effekte sind noch sichtbar. Modus 8216valid8217 gibt Ausgabe der Länge max (M, N) - min (M, N) 1 zurück. Das Faltungsprodukt ist nur für Punkte gegeben, wo die Signale vollständig überlappen. Werte außerhalb der Signalgrenze haben keine Auswirkung. Diskrete, lineare Faltung von a und v. Scipy. signal. fftconvolve Falten Sie zwei Arrays unter Verwendung der Fast-Fourier-Transformation. Scipy. linalg. toeplitz Wird verwendet, um den Faltungsoperator zu konstruieren. Polymul Polynomische Multiplikation. Gleiche Ausgabe wie convolve, akzeptiert aber auch Poly1d-Objekte als Eingabe. Der diskrete Faltungsvorgang ist definiert als Es kann gezeigt werden, dass eine Faltung im Zeitfenster gleich der Multiplikation im Fourier-Bereich ist, nach geeigneter Polsterung (Polsterung ist notwendig, um eine Kreisfaltung zu verhindern). Da Multiplikation effizienter (schneller) als Faltung ist, nutzt die Funktion scipy. signal. fftconvolve die FFT, um die Faltung großer Datensätze zu berechnen.


No comments:

Post a Comment