技術指南

使用 Kafka 和 Flink 的串流特徵

串流特徵管線使用 Kafka 主題等事件串流,以及 Flink 等具狀態處理器來更新滾動或時間視窗特徵。

聆聽此指南AI 語音敘述 · ~3 min

本頁閱讀時間3分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. Kafka 和 Flink 串流功能的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

正確性取決於事件時間定義、處理遲到和重複的記錄、持久狀態和接收器保證,而不僅僅是快速處理事件。

深入探討

流式特徵管道通常將傳輸與計算分開。 Kafka 在每個分區中儲存有序記錄,並允許消費者重播保留的事件。 Flink 等處理器可以按實體、計算視窗或捲動聚合對狀態進行關鍵控制,並將結果寫入線上特徵儲存。這支援低延遲功能,例如當模型需要比批次計劃提供的更新值時的最近交易計數。功能定義應指定實體鍵、視窗、缺失歷史記錄的預設值以及後期事件策略,以便服務行為是明確的。事件時間是事件發生的時間;處理時間是作業處理它的時間。事件可能會無序到達,因此 Flink 浮水印會估計事件時間進度並允許視窗關閉,同時考慮到預期的延遲。水印是一個進度訊號,而不是證明沒有較舊的事件可以到達;後期事件策略確定是否更新、路由或刪除這些記錄。即使作業沒有停機時間,錯誤的時間戳記、重複的事件或錯誤的鍵控狀態也可能會破壞滾動功能。 Flink 檢查點可以還原託管狀態和來源位置。但一次性狀態恢復與端到端的一次性輸出不同:源參與和相容的接收器或事務/冪等策略很重要。 Kafka 自己的冪等和事務性生產者語意已經定義了範圍。在承諾交付保證之前,針對正在使用的確切連接器版本測試重播、重新啟動、延遲資料和接收器行為。

現實世界的實施

詐欺偵測系統使用 Flink 來維護卡在過去 10 分鐘內的交易滾動計數,並在 Kafka 主題上的每個新交易事件的幾秒鐘內更新計數。

一款共乘應用程式將「過去 20 次乘車的平均司機評分」作為串流媒體功能進行計算,因此新的低評分司機會在出現不良評分後不久(而不是第二天)被標記為接受審核。

電子商務網站透過視窗聚合計算每個使用者會話的“過去 60 秒的頁面瀏覽量”,提供即時個人化模型,在會話中調整建議。

支付平台使用 Flink 的浮水印來處理由於行動網路延遲而延遲 30 秒到達的交易事件,仍然將其包含在正確的 5 分鐘視窗中,而不是丟棄它。

Kafka 和 Flink 串流功能的未來

在詐欺偵測、廣告競價和即時個人化方面,對串流媒體功能的需求成長最快,其中幾秒鐘的功能陳舊都會嚴重影響結果。特徵存儲越來越多地添加本機流支持,因此無論是從流管道提供服務還是從歷史批數據回填特徵,都可以定義一次並以相同的方式計算,從而減少並行批和流代碼路徑的單獨維護負擔。串流基礎設施、運作和調整有狀態 Flink 作業和 Kafka 叢集的主要營運成本意味著許多團隊仍將其保留用於特定功能,因為新鮮度會實質地改變模型效能。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

Kafka 和 Flink 的串流功能是什麼?

串流功能管道使用 Kafka 主題等事件流和 Flink 等有狀態處理器來更新滾動或時間視窗功能。正確性取決於事件時間定義、處理遲到和重複的記錄、持久狀態和接收器保證,而不僅僅是快速處理事件。

Apache Kafka 在串流媒體功能管道中扮演什麼角色?

Kafka 在每個分區內保留有序記錄,消費者可以在保留時讀取或重播它們。跨分區沒有總排序。

翻滾窗和滑動窗有何不同?

翻滾窗是固定的、背對背的桶,而滑動窗則不斷向前滾動。

為什麼詢問過去 10 分鐘內發生了多少筆交易的詐騙模型通常會使用滑動視窗而不是滾動視窗?

滾動的「尾隨 10 分鐘」要求與滑動視窗的連續更新行為相符。

Flink 的水印解決了什麼問題?

水印讓 Flink 決定何時可以安全地完成窗口,儘管可能存在亂序到達。

在配置的允許延遲期之後到達的事件時間視窗記錄會發生什麼情況?

預設情況下,Flink 在視窗允許延遲期後刪除記錄;配置的側面輸出可以路由這些記錄以進行單獨處理。