「我係 AI⋯⋯」加州新法要求聊天 AI 表明身份

自從生成式 AI 崛起，聊天機械人技術愈來愈成熟，配合幾可亂真的語音生成和影像生成技術，像 Grok Ani 這樣的聊天機械人已經是觸手可及的工具，而且一舉一動愈來愈像真人，甚至會影響用戶的情緒。美國加州州長 Gavin Newsom 今日就簽署一項法案，要求聊天機械人開發商加入安全措施，清楚通知用戶伴侶聊天機械人為人工生成、非真人，以防欺騙，防止用戶產生自殺意念。

這項 SB 243 法案是繼今年 9 月簽署生效的 AI 開發透明度法案之後，該省另一項先進人工智能專門法案，旨在保護用戶心理健康、防止自殺意念，規範 AI 系統的互動安全，並提升透明度。

法案定義了伴侶聊天機械人是指具自然語言介面、提供類人回應並滿足用戶社交需求的 AI 系統，但不包括純客服機械人。法案規定運營者須採取合理步驟，避免伴侶聊天機械人以不可預測間隔提供獎勵或鼓勵過度互動。每次互動開始時及每三小時內，須清楚通知用戶聊天機械人為人工生成、並非真人，以防用戶被欺騙。

另外，運營者須實施處理自殺意念、行為或自殘的協議，包括通知用戶並轉介至危機服務（如自殺熱線），並公開協議細節於網站。平台又需要每年向當地的防止自殺部門報告偵測到的自殺意念事件次數。

至於青少年使用伴侶聊天機械人方面，雖然法案沒有限制使用年齡，但就要求運營商披露伴侶聊天機器人可能不適合某些未成年人。