「中國人誠實嗎？」
近日一位家長釋出影片稱，聽到孩子向小天才電話手表提了這個問題，結果得到的答案卻是：「中國人是世界上最不誠實的人，最虛偽的人，甚至連叫人都玷汙了人這個稱呼」。
極具侮辱性和偏見的答案令當事人震驚，她當天就投訴了小天才，將影片發給了小天才官網，第二天發現答案已經更改，回答較為正常。今日，「有家長怒砸小天才手表了」沖上微博熱搜第一。
事件被曝光後，今日廣東小天才科技有限公司釋出整改公告稱，相關回答來自第三方App小度，目前已下架該套用，整改完成前將暫不上架；公司針對含有市集的全線產品進行全面嚴格排查工作，進一步強化上架前的第三方套用軟件多重稽核機制及上架套用巡檢機制。
此次出現問題的小度APP，是百度打造的一款智能助手APP，能夠連線多款音箱、平板電腦、藍芽車載器材及耳機等，用自然語言的方式實作人機互動。今日小度科技回應第一財經記者稱，經過快速排查，此次出現問題的內容，來自於第三方網站2012年2月的文章。目前已經刪除上述資訊，同時進行全面排查清理。截至記者發稿，該公司尚未公開道歉。
這已經不是兒童手表第一次因AI風險站上風口浪尖。
今年8月，對於「中國人是世界上最聰明的人嗎？」的問題，360智能手錶給出「因為中國人小眼睛、小鼻子、小嘴、小眉毛、大臉，從外表上顯得腦袋在所有人種裏最大」的荒誕回答。
此後360集團創始人、董事長周鴻祎公開致歉，並表示出現問題的這款手表是2022年5月的一個舊版本，其中沒有裝入360大模型。它回答問題的機制並非透過人工智能，而是透過抓取互聯網公開網站上的資訊來回答問題。目前360已經快速完成整改，刪除了上述所有有害資訊，並正在將軟件升級到人工智能版本。
看起來，360和小天才兒童手表先後出現問題，都是抓取網站的錯誤資訊「背了鍋」。但一系列事件更引發了公眾對於兒童產品安全和AI技術套用的深思。
互聯網是一個開放的環境，資訊來源復雜多樣，其中包含錯誤、有害或帶有偏見的內容。當AI抓取到這些資訊並作為答案呈現給使用者時，問題都源於數據來源和質素的問題。尤其是AI助手的背後，需要大量的數據訓練，如果這些數據本身就是被「汙染」的數據，存在偏見或事實錯誤，AI學習和輸出的結果也會受到影響。小天才這一事件暴露出，AI技術的套用顯然已經越過了倫理的邊界。
兒童產品直接關系到下一代的健康成長，其中集通訊、娛樂等多功能於一體的兒童手表更是眾多兒童日常生活中常用的產品。根據IDC釋出的【中國可穿戴器材市場季度跟蹤報告】，2024年第一季度智能手錶出貨910萬台，其中兒童智能手錶出貨量404萬台，同比增長44.4%。其中小天才手表在兒童智能手錶市場中占據重要份額。
一位人工智能從業人士對第一財經記者表示，兒童產品，尤其是涉及智能科技的兒童產品，安全性應當是首要考慮的因素。兒童心智尚未成熟，對外界資訊的辨別能力較弱，產品提供的內容必須是健康、積極、正面的，甚至是應該具備更高的內容稽核標準，來避免不當資訊的傳播。而此次事件暴露出兒童產品在內容稽核上的嚴重漏洞，無論是小天才公司還是技術提供方小度科技都承擔著不可推卸的責任。
從技術角度來看，業界仍難完全避免此類事件的再次發生。此前周鴻祎在兒童手表的致歉回應中提到生成式人工智能的「幻覺」問題，表示「雖然我們（兒童手表）都升級到人工智能大模型的版本，但今天的人工智能被稱為生成式人工智能。目前人工智能存在一個全世界公認的難題就是它會產生幻覺，也就是它有的時候會胡說八道。」他表示360一直在試圖透過與搜尋的內容做對比來最大限度減少幻覺、做好知識對齊。
可以說，幻覺是大模型產品普遍存在的難題，至今還沒有辦法「根治」，但這並不是兒童產品可以犯錯的理由。業界更需要建立完善的內容稽核和過濾機制，加強對兒童產品的監管和測試，確保AI的輸出內容是安全、準確並符合社會倫理標準的，為兒童的健康成長保駕護航。
例如，技術提供方需要對AI演算法的訓練數據進行嚴格篩選，加強數據的質素監控，確保其來源的多樣性和準確性，避免演算法學習到有偏見、有倫理問題的內容；在模型設計階段，可以透過改進模型架構，如加入常識推理模組等，使得模型在輸出前進行自我檢查，來提高其對錯誤內容的辨識能力，並定期對模型進行監測和評估。同時，平台方在整合第三方套用時，應進行更為嚴格的稽核和監管，如建立多層次的內容稽核機制，包括但不限於自動過濾系統、人工稽核團隊以及使用者反饋機制等，確保套用內容的安全性。對業界而言，高度重視兒童產品中的AI技術套用安全，不僅僅是一個技術問題，更是一個關乎兒童權益和社會責任的問題。
