【環球時報報道 記者 楊沙沙】編者的話:美國CNBC網站近日報道稱,美國公共利益研究小組(PIRG)11月發佈的一份報告顯示,AI(人工智能)玩具創業公司FoloToy旗下的AI玩具泰迪熊“Kumma”,在測試中不僅對涉及性、毒品等敏感話題“侃侃而談”,還會向兒童給出如何點燃火柴或找刀具的指示。據悉,該玩具內置OpenAI最新模型GPT-4o。然而,這並非孤例。隨着AI玩具市場持續增長,其潛在的內容安全與隱私風險已引起廣泛警覺。那麼,AI玩具爲什麼會爆出安全問題?玩具廠商應該實施哪些保護措施?國內AI玩具公司是否已建立相應機制?圍繞上述問題,《環球時報》記者採訪多家玩具企業。
整改“危險AI泰迪熊”
美國CNBC網站報道稱,PIRG報告發布後,FoloToy迅速下架這款99美元的泰迪熊及其餘AI玩具,着手實施以安全爲核心的軟件升級。OpenAI隨後也宣佈,暫停該公司的模型訪問權限。經過嚴格審查、測試及安全模塊強化後,FoloToy近日在社交平臺X上宣佈已重新上架產品。
《環球時報》記者查閱FoloToy官網看到,重新上架的版本已改用字節跳動旗下的Coze(釦子)平臺。網頁將該款AI玩具泰迪熊“Kumma”,描述成“將先進的人工智能技術與友好互動功能完美結合,成爲孩子與成人都喜愛的理想夥伴”。
“OpenAI的GPT-4o已成爲一些人工智能玩具的首選模型。”美國有線電視新聞網(CNN)針對FoloToy的“泰迪熊事件”分析稱,在兒童玩具中使用大型語言模型引發了安全問題,即兒童是否應該接觸這些玩具,以及玩具製造商應該實施哪些保護措施。
“泰迪熊事件”也在中國AI玩具行業引發警惕。AI潮玩品牌珞博智能(Robopoet)合夥人兼首席營銷官朱亮在接受《環球時報》記者採訪時表示,此事給行業內企業敲響了警鐘,“一個很小的技術故障,可能就會導致一個大的安全事件,涉及數據安全和用戶隱私,從來沒有小事”。珞博智能成立於 2024 年。在2025年世界移動通信大會上,該公司發佈了一款毛絨包掛形態的AI潮玩“芙崽”,搭載豆包、DeepSeek等國產大模型,主要瞄準Z世代女性,能夠和用戶實時對話。
“依託合規的國內大模型,這類風險在我們產品體系中大概率不會出現。”2023年成立的AI 玩具企業躍然創新(Haivivi)目前主要做兒童陪伴AI玩具產品,該公司市場部總監鍾文傑接受《環球時報》記者採訪時表示,躍然創新同樣接入了豆包、DeepSeek等國家備案合規的大模型。而在此基礎上,公司針對玩具產品訓練的“小模型”也有自己的“數據銀行”,此外還設置了“數字安全圍欄”和“防火牆機制”,形成三重防護。當兒童與玩具聊天時,若提及敏感或不適齡話題,系統會實時觸發“防火牆”,通過引導式對話轉移話題方向。
朱亮也證實,AI玩具在大模型訓練階段,就會篩選知識庫,所有涉及暴力、色情、危險行爲等內容,比如教唆去放火這類的違規內容,都不可能進入庫中。在與用戶實時交互過程中,珞博智能也有自研的“敏感詞過濾系統”,“比如一些髒話等不合適內容,AI玩具是不可能播放出來的”。針對安全突發事件,公司也有7×24小時響應機制,24小時之內進行跟進處理。
朱亮進一步向記者表示,針對人工智能玩具的安全防護不是一次性工程,需要持續迭代追蹤,“很難有公司承諾完全不出安全方面的問題,核心還是要看公司的理念。如果認爲用戶的信息安全很重要,那就會在安全防護上做很大的投入”。
遵循個人信息“最小收集原則”
2025年,AI+“情緒價值”成爲新消費領域重要增長點。淘寶天貓玩具發給《環球時報》的數據顯示, 從搜索趨勢看,AI玩具類日均搜索量在第四季度相較第一季度增長超過10倍。從第一季度至今,AI玩具月度環比增速始終保持在雙位數高位,今年“雙11”大促期間環比增速更是接近100%。
中國工業和信息化部最新發布的統計顯示,2024年我國AI玩具市場規模約246億元,預計2025年全年將增至290億元。這意味着,2025年AI玩具的市場規模將同比增長18%。
美國《麻省理工科技評論》報道稱,截至2024年底,中國有超過1500家人工智能玩具公司在運營。報道引述深圳市玩具行業協會等最近發佈的報告預測,到2030年,AI玩具的全球市場規模將破千億元人民幣,增速幾乎超過任何其他消費型AI領域。
在躍然創新市場部總監鍾文傑看來,2024年是“AI玩具元年”。在此之前,AI玩具尚未形成流行趨勢,而今年年初 DeepSeek的技術熱度、年中泡泡瑪特旗下潮玩IP拉布布的消費熱潮,分別從技術端和市場端推動了行業爆發。
在AI玩具快速發展的同時,關於數據安全、數據隱私等問題日益引起重視。在中國工信部11月19日舉行的新聞發佈會上,消費品工業司司長何亞瓊在回答記者提問時特別提及AI玩具的數據安全、網絡安全等問題,並表示將會同相關部門加強研判,在指導玩具企業加強技術防護的同時,適時研究制定相關標準,切實保障AI玩具質量安全和數據隱私安全。
在數字安全方面,AI玩具行業內普遍遵循的原則是“最小收集原則”。2021年11月1日起施行的《中華人民共和國個人信息保護法》第六條規定,處理個人信息應當具有明確、合理的目的,並應當與處理目的直接相關,採取對個人權益影響最小的方式。收集個人信息,應當限於實現處理目的的最小範圍,不得過度收集個人信息。
鍾文傑告訴《環球時報》記者,躍然創新旗下的AI玩具有“成長報告”功能,會基於兒童與玩具交流的數據進行分析整理。根據“成長報告”,家長可以關注到孩子近期的情緒波動、興趣愛好、表達能力等,從而幫助家長更好地掌握孩子的成長動態。但他強調,“在軟件層我們收集的各類信息與數據,事先都需經過用戶及家長同意,家長也可以選擇關閉相應權限或服務”。
鍾文傑也提到數據存儲與雲端安全,目前其用戶數據主要存儲在公有云,而非企業自有服務器,從源頭降低了數據泄露風險。
“在數據安全方面,我們堅持的也是‘最小收集原則’。”珞博智能合夥人兼首席營銷官朱亮表示,“用戶的對話數據等信息全都存儲在雲端並被加密。”據她介紹,珞博智能公司內部也有用戶信息隔斷措施,不同玩具之間的數據是不會有交叉的,本地也只保存少量的核心交互或用於驅動“芙崽”的數據,“本地數據在用戶設備上,只要設備不被他人獲取,其中的內容便無法被他人知曉”。
除上述措施外,朱亮認爲,安全不光涉及對話或數據隱私層面,在用戶使用安全方面,也需建立“防火牆機制”。“當用戶抒發相對壓抑的情緒時,我們都會及時引導用戶建立正面情緒,告訴用戶‘不要這麼難過了’或‘快去外面看看,今天陽光明媚’。當用戶出現負面情緒時,我們要正確引導,及時阻止用戶不好的行爲。”朱亮補充說。
出海前要“復刻國內保護模式”
“人工智能玩具風靡中國,如今它們也出現在美國的貨架上。”《麻省理工科技評論》報道稱,中國的AI玩具公司已將目光投向海外市場。躍然創新旗下的AI玩具BubblePal去年在美國上市,後續也將瞄準更多的海外市場。
躍然創新市場部總監鍾文傑證實,計劃從明年第一季度開始,公司將逐步發力海外市場,目前已經在香港與新加坡設立了公司。他告訴《環球時報》記者,公司已經開始推進海外業務的落地與擴張工作,包括營銷、渠道、倉儲物流等。“海外市場的核心挑戰在於政策合規與本地化適配。”他坦言,爲符合不同國家和地區的監管要求,躍然創新的海外版產品將調整技術合作方——底層大模型與雲服務將選擇海外合規企業,“確保產品從技術到服務都符合當地政策,避免風險”。
而在接受《環球時報》記者採訪前一刻,珞博智能合夥人兼首席營銷官朱亮還在與OpenAI等溝通海外合作事宜。“由於國內的大模型在海外無法使用,我們在海外會選擇一款大模型進行合作。”朱亮坦言,從技術手段上講,嚴格意義上無人能承諾百分百避免安全問題。但她認爲,“我們把國內這套嚴格的保護模式複製到海外,未來無論接入哪家模型,整個流程中涉及的用戶隱私、等級保護、安全保護等,只要我們有相應的團隊去建立機制、作好響應,應該都不是什麼問題”。她表示,即使使用國外的大模型,也可以結合珞博國內團隊的相關安全問題處理經驗,照樣可以在應對國外情況時形成自己的一套處理機制。“我們會有團隊專門負責溝通與部署,並可能在此之前進行前置設計。簡單說,我們要做一套跟國內一模一樣的安全框架搭建,才能在海外去運轉產品”。
朱亮談及接入海外大模型的成本時表示,OpenAI等收費標準確實比國內公司要高。但朱亮在調研日本市場後,感到信心十足,原因之一在於,海外用戶對於軟件付費或訂閱有比較強的認知,可以通過收取訂閱服務費來覆蓋成本,“市場前期教育已經做好了,我們去之後,只需證明自己產品行就可以”。
“以玩具爲代表的AI硬件正處於加速爆發狀態,我們認爲不論是國內還是海外,這一市場的前景都十分值得關注。”鍾文傑稱,行業內將AI玩具分爲三個層級:第一級是桌面機器人或家庭小機器人,售價較高,技術也更復雜;第二級是以AI互動對話爲核心的智能玩具;第三級則偏向AI寵物方向,弱互動對話,更加強調肢體互動反饋,以及加入了更多養成系玩法。從市場反饋看,三個層級各有受衆,但第二級和第三級的用戶覆蓋面更廣,尤其是在兒童與年輕羣體中。
鍾文傑補充稱,明年公司將推出多個產品系列,覆蓋兒童與成年人羣,同時在細分市場也會有更多嘗試。“面向年輕人的AI玩具市場是一個熱門賽道。”他表示,能提供情緒價值的產品很容易被埋單。同時,AI玩具與銀髮經濟的結合,比如爲老年人設計的陪伴型AI產品,這一領域的想象空間同樣巨大。