当前位置: 华文世界 > 科技

「意念」控制机器人!创新奇智新模型AInno-75B放大招,能看视频能画CAD,还外接脑机接口

2024-03-27科技

智东西(公众号:zhidxcom)
作者 | 香草
编辑 | 李水青

智东西3月27日报道,今日,国内「AI+制造」解决方案供应商创新奇智宣布其「奇智孔明AInnoGC」工业大模型产品矩阵升级。

创新奇智CTO张发恩发布了升级后的工业大模型AInno-75B,以及三款全新ChatX系列生成式AI应用:包括生成式企业私域视觉洞察应用ChatVision、生成式辅助工业设计应用ChatCAD、基于非侵入式脑机接口的工业机器人任务编排应用ChatRobot Pro。

▲奇智孔明工业大模型升级发布

此次发布是创新奇智工业大模型矩阵时隔半年以来的重要升级。

创新奇智于去年9月发布了自研工业大模型AInno-15B,基于该模型的大模型服务引擎,以及三款生成式AI应用产品:ChatRobot、企业私域数据分析应用ChatBI、企业私域知识问答应用ChatDoc。本次发布,大模型服务引擎和ChatX系列应用也基于750亿参数的模型进行了升级。

现场,创新奇智副总裁郭江亮、创新奇智高级技术总监温哲立、创新奇智高级研究员高达辉分别演示了ChatVision、ChatCAD和ChatRobot Pro,其中,脑机接口「意念取物」的演示令人印象深刻。

▲工作人员在现场通过外接式脑机接口「意念」操作机器人

一、750亿参数、多模态输入输出,ChatX系列产品全线升级

张发恩首先发布了750亿参数的工业大模型AInno-75B,相比半年前发布的Ainno-15B,参数提升至5倍,模型性能也相对升级。

AInno-75B还新增了多模态处理能力,支持输入文本、图像、视频、EEG(脑电波)以及工业场景中的特定模态,如CAD(计算机辅助设计)等。

输出方面,AInno-75B支持输出文本、图像、视频、CAD,以及工业领域特色的Action(行为)模态。

▲工业大模型AInno-75B技术特色

在能力指标方面,AInnoGC工业大模型已获得中国信通院可信AI工业评测的最高等级4+级,也是截至今天唯一通过该等级评测的工业大模型。

在去年12月麻省理工科技评论发布的15个「中国AI大模型先进应用案例」中,AInnoGC榜上有名。SuperCLUE工业大模型第一名。

3月21日,中文语言理解测评基准SuperCLUEC发布首个中文原生的工业大模型测评基准SC-Industry,奇智孔明AInno-15B仅次于GPT-4 Turbo和GPT-4,在国内工业领域大模型中位列第一。

▲奇智孔明工业大模型获得成就

基于AInno-75B,创新奇智ChatX系列产品也进行了重要升级。

生成式企业私域知识问答应用ChatDoc针对性优化了知识构建、问答、溯源和推荐能力,整体问答效果提升28.8%;生成式企业私域数据分析应用ChatBI新增支持Excel、CSV等数据格式,生成SQL语句和分析报告的准确率提升15%。

▲创新奇智工业大模型产品矩阵升级

大模型服务引擎Engine则新增支持交互式生成Agent应用,其RAG(检索增强生成)能力引擎也增加内置针对性优化策略,模型服务新增内置大模型推理加速引擎。

二、三大ChatX新品发布,针对视觉、CAD和「意念控制」

会上,张发恩还发布了三款新的ChatX系列产品,分别是生成式企业私域视觉洞察应用ChatVision、生成式辅助工业设计应用ChatCAD,以及基于非侵入式脑机接口的工业机器人任务编排应用ChatRobot Pro。

1、生成式企业私域视觉洞察应用ChatVision

据介绍,ChatVision以自然语言交互形式,对视频/图片进行交互式智能分析,并且基于Agent能力自主进行任务规划和技能编排。

▲生成式企业私域视觉洞察应用ChatVision

创新奇智副总裁郭江亮现场演示了ChatVision的场景洞察能力,其能够进行实时视频流分析、理解用户的复杂任务指令,也能离线进行视频长文件分析。

▲ChatVision能力及工作流程

首先,两位工作人员在现场扮演工人的角色,通过摄像头拍摄实时视频流输入ChatVision后,郭江亮通过语音输入指令「观察当前画面,告诉我这可能是什么地方」。随后,ChatVision迅速给出答案,通过分析场景中的人物和穿着,判断这可能是一个建筑工地、车间或仓库。

▲ChatVision判断画面是什么场景

随后郭江亮追问,让ChatVision找出画面中的电源插座和白色安全帽,它也很快就完成并进行了实时跟踪。

▲ChatVision识别出白色安全帽并实时跟踪

郭江亮又提出分析画面中有什么潜在的危险行为并发送给管理员,ChatVision在画面中标出了玩手机等3项违规操作,并截图发送了警告邮件。

▲ChatVision识别危险行为

除了在线分析视频流,ChatVision也能离线分析视频长文件。郭江亮上传了一个车间实拍视频,并询问ChatVision这是什么场景,很快就得到了正确的回答。

▲ChatVision离线识别视频流

随后郭江亮输入指令「识别是否有人吃饭」,ChatVision通过分析,指出在视频0-15秒有工人在车间吃饭的行为,还详细描述了「用筷子」「喝汤」等具体动作。

▲ChatVision识别吃饭行为

最后,郭江亮输入「退出」回到视频流模式,并将摄像头转向现场的观众,让ChatVision识别出正在微笑的人,ChatVision很快在画面中画出一个个红框圈出目标。

▲ChatVision识别现场微笑的人

2、生成式辅助工业设计应用ChatCAD

接触过工业制造的读者应该知道,CAD几乎是整个工业的基础。面向CAD设计场景,创新奇智退出ChatCAD,支持以语言交互的方式生成机械、电气设计,变革了设计方式并提升设计效率。

▲生成式辅助工业设计应用ChatCAD

创新奇智高级技术总监温哲立现场演示了ChatCAD,通过简单的自然语言输入就能得到复杂的工业设计模型,还能进一步提出提出修改要求,生成模型兼容多种主流CAD格式。

▲ChatCAD功能和流程

ChatCAD界面基于AI原生原理打造,没有复杂的菜单,其左边是设计区,右边是对话区。

温哲立首先让ChatCAD生成一个工业滑轮,给出了具体的参数。不出一分钟ChatCAD就生成了相应的模型。

▲ChatCAD生成工业滑轮

随后温哲立接连提出两个要求,让ChatCAD修改滑轮中心轴半径、边缘凸出部分长度,很快便得到了满足要求的生成结果。

▲ChatCAD根据追加要求修改模型

温哲立又让ChatCAD设计了一个直流电机,并再次提出2个追加要求,ChatCAD均正确生成。

▲ChatCAD设计直流电机

第三个演示中,温哲立提出了一个极为复杂的需求,要求ChatCAD生成一个涡轮机,对其扇叶数量、涡轮轴直径、旋转轴轴帽长度等多项参数都进行了具体数据要求。

▲ChatCAD生成涡轮机

在此基础上温哲立又要求ChatCAD将扇叶改为8个,修改引擎罩长度等。

▲ChatCAD将扇叶改为8个

最后温哲立选择STEP格式下载了该模型,它可以在相应CAD软件中完美兼容。

▲在CAD软件中打开生成的模型

3、工业机器人任务编排应用ChatRobot Pro

ChatRobot Pro在ChatRobot的基础上,采用非侵入式脑电采集,对人脑电波进行解码,实现通过意念控制机器人完成多样化任务。

▲工业机器人任务编排应用ChatRobot Pro

创新奇智高级研究员高达辉演示了ChatRobot Pro,由一位现场工作人员连接外接脑机接口装置,抓取目标商品并由机器人完成任务设定。

▲ChatRobot Pro功能和工作流程

在ChatRobot Pro工作界面中,左边显示脑电信号实时状态,右边是交互页面。

▲ChatRobot Pro交互界面

据介绍,该任务的主要难点在于非侵入式脑机接口反映的是整体脑电波,无法直接反映局部意念,大模型需要从中解码用户的具体意图。

首先,工作人员通过大脑「意念」控制光标移动,选择了一种饮料,系统将命令下发给机器人。

▲工作人员「意念」选择饮料

得到指令后,ChatRobot Pro自动完成了任务解析和步骤编排,并驱动机器人前往货架选择饮料。

▲机器人拿取饮料

随后,机器人在ChatRobot Pro的控制下,通过视觉解析找到目标位置,前往高达辉面前,将饮料交到他手里。

▲机器人将饮料交给高达辉

完成任务后,高达辉向ChatRobot Pro输入「让机器人归位」的指令,ChatRobot Pro便规划了任务规划并驱动机器人回到初始位置。

▲ChatRobot Pro规划机器人行动

结语:响应「人工智能+」行动,创新奇智推动AI解放制造业

就在昨天,工信部在国新办新闻发布会上提到,加快推动以大模型为代表的AI赋能制造业发展。今年将开展「人工智能+」行动,促进AI与实体经济深度融合,推动AI赋能新型工业化。

创新奇智坚持深耕「AI+制造」领域,着眼于AI解放制造业,其工业大模型产品矩阵的行业价值正在逐步展现,为企业实现数字化转型提供了有力支撑。可以预见到,此次发布的模型升级与三款新产品,将在工业领域产生更多创新场景,为制造行业提供丰富的生成式AI解决方案。