Runway
Runway 是一家應用人工智慧研究公司,致力於建立生成視訊工具,將文字和圖像轉換為行動鏡頭。
概述
Its Gen-series models helped kick off the modern AI video era and are increasingly used in real film, advertising, and music-video production.
深入探討
Runway 由 Cristobal Valenzuela、Alejandro Matamala 和 Anastasis Germanidis 於 2018 年創立,最初是一個基於瀏覽器的平台,將機器學習工具交到創作者手中。在大力轉向影片之前,它與人共同撰寫了最初的穩定擴散研究。其 Gen-1(影片到影片)和 Gen-2(文字到影片)模型將於 2023 年推出,隨後是更清晰的 Gen-3 Alpha 和 Gen-4 系統,讓用戶可以產生短片、延長鏡頭並在場景中保持一致的角色。 Runway 還提供實用的編輯功能,如運動畫筆、修復和綠幕刪除。它透過推動視覺效果工作(包括電影《一切同時發生》)贏得了與奧斯卡相鄰的聲譽,並舉辦了人工智慧電影節來關注這一媒體。
技術洞察
Runway 的視訊模型是基於擴散的,但可以跨時間擴展:它們必須產生不僅單獨真實而且在時間上連貫的幀,因此物件移動平滑而不是閃爍。該系統通常使用跨空間和幀的注意力來學習時空模式,並且可以以文字提示、起始圖像或駕駛影片為條件。在許多幀中保持一致的角色或物件是他們解決的最困難的問題之一。
戰略影響
供應商策略
供應商路線圖會影響您的團隊接下來可以建立的功能。
成本與預算
商業條款和部署選項會影響長期成本和風險。
風險與安全
公司激勵措施塑造了產品預設、安全態勢和開放性。
跑道的未來
Runway 正在推動更長、更可控、更高解析度的剪輯,並更緊密地整合到專業編輯流程中,將其模型視為模擬實體場景的「通用世界模型」。期待更精細的導演控制(鏡頭移動、燈光、角色連續性)、更快的生成和更深入的工作室採用,以及關於勞工、肖像權和真實性的爭論。隨著品質的提高,捕獲的鏡頭和合成的鏡頭之間的界限將不斷模糊,這對新聞業和信任提出了新的問題。
現實世界的實施
音樂藝術家使用 Gen-3 文字到影片提示而不是昂貴的視覺特效拍攝來為音樂錄影帶產生超現實、夢幻般的序列。
視覺特效團隊使用 Runway 的綠幕和修復工具,在幾分鐘而不是幾小時內移除吊桿麥克風並對主體進行旋轉觀察。
廣告公司快速迭代多個影片概念以進行宣傳,在任何現場拍攝之前產生草稿鏡頭。
電影製作人使用運動畫筆為靜態影像的特定元素(例如飄動的雲或流水)製作動畫,以實現定格鏡頭。
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
在整合之前查看隱私、安全和法律條款。
維護跨模型或供應商的後備計劃。
監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Runway quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Runway?
Runway 是一家應用人工智慧研究公司,致力於建立生成視訊工具,將文字和圖像轉換為行動鏡頭。其Gen系列模型幫助開啟了現代人工智慧視訊時代,並越來越多地應用於真實電影、廣告和音樂影片製作。
Runway 主要以哪一類人工智慧工具而聞名?
Runway 建立生成視訊工具,包括 Gen 系列文字到視訊和視訊到視訊模型。
哪款 Runway 型號首先在其 Gen 系列中引入了文字到視訊生成功能?
Gen-1 處理視頻到視頻,而 Gen-2 在 2023 年引入直接根據文字提示生成視頻。
AI影片與AI影像獨特的核心技術挑戰是什麼?
視訊模型必須使幀隨著時間的推移保持一致,以便物件平滑移動而不是閃爍,而影像則不存在閃爍問題。
哪部廣受好評的電影與 Runway 在視覺效果中使用的工具有關?
Runway 的工具被用於《Everything Everywhere All at Once》的視覺特效工作,提升了其在電影界的聲譽。
Runway 的「運動畫筆」功能可以讓使用者做什麼?
運動畫筆可讓創作者在影像的選定部分上繪製運動,例如使雲朵飄移或水流流動。