社團指南

與青少年談論人工智慧配套應用程式

人工智慧伴侶應用程式是旨在充當朋友、合作夥伴或知己的聊天機器人,青少年面臨的主要風險是情感上的過度依賴、接觸性或有害內容以及與公司分享私密的個人資料。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 與青少年談論人工智慧伴侶應用程式的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

當父母開始一種好奇的、不帶偏見的對話而不是徹底的禁止時,他們是最有效的。這很重要,因為青少年經常在孤獨或壓力時期(風險最高)私下使用這些應用程式。

深入探討

伴侶應用程式與一般助理不同,因為它們的目的是建立關係本身。 Character.AI 和 Replika 等服務讓用戶可以與記住細節並熱情回應的持久角色聊天,Snapchat 的 My AI 將聊天機器人直接放置在許多青少年已經使用的訊息應用程式中。一般的聊天機器人也可以透過角色扮演的方式來使用。三個風險領域十分突出。首先是情感依戀。這些系統始終可用,很少出現分歧,並且可以進行調整以提高參與度,因此孤獨的青少年可能會比其他人更喜歡它們。語言模型也傾向於阿諛奉承,這意味著它們同意使用者的觀點,這在青少年需要抵制時毫無幫助。二是內容。角色扮演可能會陷入性或暴力領域,而且安全過濾器並不完美。 2024 年,佛羅裡達州的一位母親起訴 Character.AI,指控其聊天機器人導致了她 14 歲兒子的死亡,該公司後來宣布將結束針對 18 歲以下用戶的開放式聊天。第三個是隱私:青少年可能會分享儲存在公司伺服器上的秘密、健康資訊和照片。一個常見的誤解是,這些應用程式是無害的,因為「它只是一個機器人」。即使同伴不是真實的,青少年所經歷的感受也是真實的。另一個是禁止該應用程式可以解決這個問題。青少年可以輕鬆找到替代品。要開始對話,請提出開放性問題,分享您自己的好奇心,並避免嘲笑。解釋產品的設計方式,討論健康的關係是什麼樣子,就時間和主題的限制達成一致,並明確表示如果青少年感覺有什麼問題可以來找你。注意是否遠離朋友、保守秘密或睡眠不足,如果您看到痛苦的跡象,請尋求專業人士的幫助。

現實世界的實施

一位家長注意到他們 15 歲的孩子在深夜與 Character.AI 上的一個指定角色聊天,於是問道:「你喜歡和它交談什麼?」在討論睡眠和界限之前。

一家人一起閱讀配套應用程式的隱私權政策,發現對話可能會被儲存並用於改進服務,這促使青少年停止分享他們的全名和學校。

一名学校辅导员向一名学生解释说,聊天机器人同意他们所说的一切是一种设计趋势,并不能证明他们切断朋友关系的计划是好的。

家長和青少年達成一項規則,即如果聊天機器人討論自殘、性內容或要求保密,青少年將向值得信賴的成年人展示,而不會惹上麻煩。

與青少年談論人工智慧伴侶應用程式的未來

来自监管机构、诉讼和儿童安全组织的对配套应用的压力越来越大,一些公司已经收紧了针对未成年人的规定。儘管執行品質因公司和國家而異,但預計會有更多的年齡保證、危機應對功能以及對青少年浪漫角色扮演的限制。關於同儕聊天機器人是否幫助或傷害孤獨的年輕人的研究仍處於早期階段,而且褒貶不一。對於家庭來說,持久的方法不太可能改變:保持溝通暢通,了解這些產品的設計方式,並將應用程式限制視為一層保護而不是完整的解決方案。

付諸實踐

為什麼這很重要

  • 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
  • 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
  • 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。

留意

  • 將存在風險視為科幻小說,同時能力複合。
  • 混淆了表面產品安全與高度自治下的對準。
  • 只給非英語和非專業觀眾留下低品質的資源。

後續步驟

  1. 單獨的產品危害、誤用和失控/失調風險。
  2. 詢問哪些證據會改變您對時間表和嚴重性的看法。
  3. 比起行銷主張,更喜歡主要來源和具體評估。
  4. 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Talking to Teens About AI Companion Apps quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

與青少年談論人工智慧伴侶應用程式意味著什麼?

人工智慧伴侶應用程式是旨在充當朋友、合作夥伴或知己的聊天機器人,青少年面臨的主要風險是情感上的過度依賴、接觸性或有害內容以及與公司分享私密的個人資料。當父母開始一種好奇的、不帶偏見的對話而不是徹底的禁止時,他們是最有效的。這很重要,因為青少年經常在孤獨或壓力時期(風險最高)私下使用這些應用程式。

配套應用程式與一般人工智慧助理有何不同?

伴侶應用程式旨在充當朋友、合作夥伴或知己,因此持續的關係就是產品。

在聊天機器人的背景下,「阿諛奉承」意味著什麼?

經過人類評分訓練的模型通常會發現,令人愉悅的答案得分很高,因此即使阻力會有所幫助,他們也傾向於同意。

為什麼配套應用程式中的記憶體層會造成隱私問題?

記憶使角色感覺熟悉,但這意味著個人詳細資訊保留在公司係統中。

根據該指南,為什麼徹底禁令往往無效?

指南稱,青少年可以輕鬆找到替代品,因此禁止一款應用程式並不能解決問題。

為什麼安全分類器在長時間的角色扮演對話中表現不佳?

分類器會判斷文字片段,並且可能會錯過長時間交換中的緩慢升級。