windowing

0熱度

1回答

我們正試圖在spark中實現Window函數。 Spark通過Kafka接收數據（有5個分區），我們使用Spark Java DStream進行處理。一旦將逗號分隔的數據從kafka映射到Spark中的對象，我們將創建一個20秒的窗口，該窗口在1秒內滑動。在這個Java DStream中，我們計算並打印輸出（實際上我們想要做更多的處理，但爲了簡單起見，只應用了計數）。一切正常，直到處理時間出現尖峯

0熱度

1回答

Apache Flink。加水印的開窗

我試圖通過延時最多30秒的分鐘時間戳來加密60秒數據。我正在接收數據。水印和時間戳正在設置中。看起來，彙總的數據永遠不會發送到ohlcStreamAggregated，因此它們不會被記錄。 public TimestampExtractor(Time maxDelayInterval) { if (maxDelayInterval.toMilliseconds() < 0) {

0熱度

1回答

SQL窗與分組

累計總和我有一個表像這樣 |week_no|value|attribute| ------------------------- | 1 | 3 | a | | 2 | 3 | a | | 3 | 3 | a | | 1 | 4 | b | | 2 | 4 | b | | 3 | 4 | b | 我想有一個帳戶累計值列 |week_no|value|attribute|accum

0熱度

2回答

SQL服務器窗 - 24小時的窗口

，我有以下數據 CREATE TABLE [dbo].[Test]( [CustId] [int] NULL, [Spend] [money] NULL, [TimeOdSpent] [datetime] NULL, [ID] [int] IDENTITY(1,1) NOT NULL ) ON [PRIMARY] GO SET IDENTITY_INS

-1熱度

1回答

Hive Windowing ORDER BY

你好，我對Hive很新，並且正在學習Hive的WINDOWING功能。我遇到了一個問題。我試圖找到的最低收盤價爲每個股票代碼（每個股票有22條記錄，我想找到最低）我寫了一個查詢： SELECT ticker, close FROM (SELECT ticker, close, RANK() OVER (PARTITION BY ticker) AS rank FROM stocks)

-1熱度

1回答

漢恩窗口開始和結束的值似乎沒有意義

我正在玩mathdotnet，正在嘗試用於FFT的不同窗口。我特別好奇Hann窗口（儘管我相信這也適用於其他人）。當我生成2048個樣本的Hann窗口時，我希望得到一組變量逐漸增加到一個峯值，然後以相同的速率逐漸減小。我所得到的卻是這樣的： [0] 0 double [1] 2.3553948388377322E-06 double [2] 9.42155716371

0熱度

1回答

Azure流分析 - 當發生事件時啓動/停止/重置窗口

我試圖用這個邏輯在Azure流分析（ASA）作業中構建規則：「當值在X和Y之間時，它保持在該範圍持續1分鐘，然後輸出到服務總線（然後發送到Azure功能發送警報），如果該值在1分鐘窗口內超出此範圍，則應重置窗口。我一直在閱讀窗口函數，在我看來，ASA啓動時窗口開始，但我可能是錯的。有沒有辦法在發生「壞值」事件時啓動（翻滾）窗口，並在值變爲好（範圍之外）時停止窗口？謝謝！

1熱度

1回答

阿帕奇弗林克：上KeyedStream

斜交數據分發我在弗林克此Java代碼： env.setParallelism(6); //Read from Kafka topic with 12 partitions DataStream<String> line = env.addSource(myConsumer); //Filter half of the records DataStream<Tuple2<String,

1熱度

1回答

熊貓：滾動計數，如果在一個循環內

在我的數據框中，我想創建一個'5D_Peak'列作爲滾動最大值，然後是滾動計數的歷史數據接近峯值的另一列。我想知道是否有簡單的方法來簡單地或理想地引導計算。這是我在一個普通的，但複雜的方式代碼： import numpy as np import pandas as pd df = pd.DataFrame([[1,2,4],[4,5,2],[3,5,8],[1,8,6],[5,2,8],

4熱度

3回答

SQL窗口堅持在給定的條件

我身邊有一個網站，該網站有不同的店的部分，但是當用戶在年底檢查出來，我們只知道一些數據的記錄是通過尋找他們最什麼鋪段近期部分打例如，如果我有一個看起來像 session, hit_number, page a,1,homepage a,2,generic_page a,3,shoe_store, a,4,buy_add_basket a,5,buy_checkout b,1,sock