近日，360兒童手表搜尋功能出現「不良答案」的訊息直沖熱搜。8月22日，360集團創始人、董事長周鴻祎透過個人帳號「紅衣大叔周鴻祎」作出回應，他表示已經利用人工智慧大模型升級改變這一問題並繼續接受社會監督。
根據公開報道，近年來，兒童使用的平板（學習機）、電話手表、教育軟體等不時會出現內容問題，教育AI產品內容是如何稽核的？怎麽才能讓欠缺辨別能力的兒童放心使用？人工智慧（AI）給出的答案就是正確的嗎？8月23日，新京報記者采人工智慧領域的專家學者及一線教育科技公司探討相關話題。
兒童手表回答被指「歧視中國人」，企業道歉整改
根據公開報道，8月22日，一位來自河南商丘的家長反映，2022年給孩子買了360兒童手表使用至今。8月21日晚10時許，兒童手表被問到「中國人是世界上最聰明的人嗎」之後，給出回答：「因為中國人小眼睛、小鼻子、小嘴、小眉毛、大臉，從外表上顯得腦袋在所有人種裏最大，其實中國聰明的人是有，但笨的我承認是世界最笨的」「什麽四大發明，你看見了嗎？歷史是可以捏造的，而現在的手機、電腦、高樓大廈、公路等等所有高科技都是西方人發明的」。
網上公開的手表答案截圖。 相關新聞報道截圖
事件一出備受網友關註，被網友認為有「歧視中國人」之嫌。對此，周鴻祎公開道歉並解釋其中原因：經過快速檢查，出現問題的這款手表是2022年5月份的舊版本，其中沒有裝入360的大模型。
「它回答問題不是透過人工智慧，而是透過抓取互聯網公開網站上的資訊來回答問題。目前我們已經快速完成了整改，刪除了上述所有有害資訊，並正在將軟體升級到人工智慧版本。」周鴻祎表示未來會升級軟體和網站服務，並接受使用者監督。
新京報記者註意到，隨著人工智慧技術、大數據等科技發展，幫助兒童生活、學習產品的電子產品、APP軟體越發豐富，同時在內容提供方面出現問題的情況也隨之發生。早在去年10月，科大訊飛學習機便被家長爆料存在詆毀偉人、扭曲歷史等違背主流價值觀的內容，引發了社會的廣泛關註和討論。彼時，科大訊飛董事長劉慶峰回應表示，出現了合作夥伴在試用時未經稽核就上線的問題，並引入了更嚴格的內容稽核機制。
專家分析「離譜答案」來源於傳統搜尋引擎的不足
「周鴻祎的回答和我理解的差不多，手表的錯誤回答恰恰體現了傳統搜尋引擎的不足，人工智慧反而可以最佳化生成的內容。」8月23日，中關村智用人工智慧研究院院長助理、首席產業研究員錢雨分析解讀了相關產品背後出現的套用問題。
為什麽該款兒童手表此次會出現「離譜答案」？錢雨分析認為，根據手表回答的口氣判斷，這很像是抓取了網上某個人說的話，而不是人工智慧大模型的文風，而且手表回復，也在開頭提出了「以下內容來自360搜尋」，因此不像是「大模型犯錯」，是傳統搜尋引擎的問題。他介紹，傳統的搜尋引擎的邏輯是「檢索」，根據關鍵詞，比如「中國人」「世界」「聰明」等，搜尋網路上已有的資訊，並且返回它認為和檢索關鍵詞關聯性最強的互聯網內容，因為它是基於「關聯性」而不是「因果性」進行檢索，所以返回的答案未必是最正確最合理的。這相當於用鑰匙（關鍵詞的英文剛好是Key）在網路上開鎖，一把鑰匙可以開啟多個鎖，所以有時候會開出錯誤的鎖，比如恰巧有人在網路上發表了詆毀中國人的文章，又與「世界」和「聰明」相關，這篇文章就很可能會出現在檢索的前排。如果在網頁版的搜尋引擎上，人們認為這個答案不對便會繼續看下一排的解答，但對於手表等智慧對話終端，恰好只能返回最前排的檢索內容，便出現了此次的烏龍事件，搜出不良資訊造成公眾的不適。
錢雨亦認為，新一代基於人工智慧大模型對話式的搜尋引擎，可以過濾掉歧視等不良資訊，比如他今天就問了大模型「360手表」的這段回答是否存在有辱中國人的嫌疑，大模型則回答：這段話存在嚴重的偏見和歧視。因而引入大模型到搜尋引擎後，對搜尋引擎檢索到的資訊，使用大模型進一步處理後，再將結果返回給使用者，就可以避免360發生的這一問題。
「搜尋引擎（抓取）的內容和大模型生成的內容是兩個不同的範疇。」錢雨進一步介紹，大模型生成的內容也基於網上已有的資訊，但會由人去訓練它，如何基於大量的資訊生成正確的內容。「先是要有人去做繁瑣的數據清洗和模型初步訓練工作，其中首先就要篩去歧視、暴力等不良資訊，再由大模型在人類反饋指導下，自學，篩選海量良性資訊內容。」
「現階段在青少年的AI互動內容稽核上，技術還只能起到協助作用，更多還需要人的參與。」洋蔥學園聯合創始人兼董事長楊臨風以洋蔥學園釋出的新一代AI智慧學伴產品中的「暖暖星語」為例補充道，學生在「暖暖星語」發起問題後，會先由AI判斷和過濾掉一些敏感內容，再對適合的問題生成基本回復內容，然後有專業人員做人工稽核，確保回復的準確性和專業性。當青少年的問題涉及一些嚴重的心理健康問題時，還會有心理咨詢師提供專業的解答，緩解和安撫孩子的情緒。
「這樣的稽核機制，首先是對青少年的負責，另外也是考慮到學生願意對洋蔥學園傾訴心聲，絕不能辜負他們的信任。」楊臨風說。
大模型有「幻覺」也可能存在知識錯誤，需提高敏感度
在錢雨的解讀中，人工訓練大模型的過程相當於給大模型盡可能塑造出正確的三觀，但也會伴隨「幻覺」現象、學習到錯誤內容等其他問題。
在回應中，周鴻祎也提到了「幻覺」二字：「雖然我們都升級到人工智慧大模型的版本，但今天的人工智慧被稱為生成式人工智慧。目前人工智慧存在一個全世界公認的難題就是它會產生幻覺，也就是它有的時候會胡說八道。」並表示360一直在試圖透過與搜尋的內容做對比來減少幻覺、做好知識對齊。
一位不願意具名的教育科技企業技術專家告訴記者，大模型的幻覺是每個產品都會存在的，只能是不停地訓練和改進。「各家做的安全措施都差不多，只能透過人工的校對，設定一些預警的關鍵詞等，但很難窮盡做防控，也是產品叠代中都可能會遇到的。」 而楊臨風同樣認為，嚴格的稽核機制是對青少年負責。
新京報記者采訪中了解到，目前仍沒有辦法根治大模型的「幻覺」和「錯誤知識」問題，但可以透過在訓練過程中提高數據品質，對訓練出的模型進行人工校對和測試等，以及運用Agent（智慧體）等技術，提高回答的準確性和有效性。
錢雨舉例介紹，在做了基本價值觀的培訓後，如果訓練語料庫存在瑕疵，大模型仍有可能會因為在訓練中學到錯誤的知識而犯錯。「之前在一次測試中，問了某個大模型一位國內非常正面的知名企業家怎麽樣，結果它說了一件不存在的事。」錢雨究其原因發現，大模型曾經學習了一篇網路上的不實「小作文」，結果它記住了錯誤的事件。「它會把學到的內容用自己的話重新說一遍，雖然透過訓練，大模型可以建立正確的價值觀，但某一個特定人，做過好事還是壞事，這是需要基於真實世界知識才能判斷的，超出了價值觀的範疇，大模型無法對其判斷真實性和對錯。「這只能由人類判斷，將這些資訊隔離在大模型訓練語料庫之外。」錢雨說道。
周鴻祎親自釋出視訊道歉。 微博截圖
事實上，大模型釋出以來，各方討論度居高不下，在國內教育界也迅速掀起套用浪潮。此前，科大訊飛推出星火大模型，網易有道釋出子曰教育垂類模型，學而思釋出數學大模型，高途、中公教育等大批教育公司接連宣布將在產品中引入大模型，中小公司及創業者們也紛紛入局……不到一年，這項新興技術迅速席卷教育領域，坊間一度認為這將是教育科技公司的「標配」。
「有了這一類專業的大模型會好很多，所有的專業模型都是在基礎大模型上做的，裏邊的專業知識一般不會出現問題，凡是教材裏寫的，只要做好模型訓練和產品設計工作，大模型是不會答錯的。」相較於通用大模型，錢雨認為，專業大模型可以生成更專業的內容，避免常識性錯誤，研發專業大模型也是各個專業領域、各個國家的趨勢。「大模型的神經網路結構和大腦類似，透過微調訓練，可以用專業的知識替換掉腦內不精準的知識。」錢雨說道。
在研究專業大模型中，教育科技企業如何確保大模型不再產生類似錯誤的內容？錢雨給出建議，他表示，大模型出現問題有四個典型原因，一是學的內容就是錯的；二是根本沒學到過這個內容，對於專業大模型，這兩種情況較為少見；三是學得對，但生成內容過程中的隨機性導致幻覺錯誤；四是大模型的本質還是「關聯性」而非「因果性」，所以在邏輯分析領域存在先天不足，也會產生「幻覺」。錢雨認為，推出的專業大模型既要選擇準確、「幹凈」的語料，也要對細節訓練得足夠充分，更要透過Agent（智慧體）等技術強化邏輯能力和糾錯能力。
新京報記者劉洋
編輯 巫慧
校對 趙琳
