SynSense时识科技助力类脑技术落地发布全球首款“感算一体”动态视觉智能SoC-Speck乐鱼官方app免费下载

 leyu官方     |      2024-03-28 07:24:36    |      小编

  2020 之后的下一个十年,将是机器人时代。例如,无人机、家庭服务型机器人、智能驾驶舱等。

  机器不可避免地需要与人进行交互,通过多模态传感器去感知和理解环境,因此,如何实现低功耗低延时的连续的信息处理,是类脑发展的一个重要方向。

  2030 年后,人体增强技术,包括植入式 AI 芯片、外骨骼、可穿戴电子设备等,将成为人工智能行业关注的热点。由于直接与人体进行交互,这类设备需要低发热量,在作为端侧 AI 处理人的生命体征信号的同时实现低功耗,类脑技术将是一个富有前景的解决方案。

  SynSense 时识科技发布全球首款“感算一体”动态视觉智能 SoC-Speck,功耗可小于 1mW

  12 月 10 日,2021 类脑智能技术创新发展论坛暨 SynSense 新品发布会在成都举行,SynSense 时识科技发布了全球首款“感算一体”动态视觉智能 SoC 及开发套件,产品定义为全球第一颗针对于设备端应用的亚毫瓦级、实时视觉边缘运算专用“感算一体”动态视觉智能 SoC-Speck。

  边缘计算具有低功耗、反隐私、低延迟的需求,同时,边缘计算的痛点在于缺少视觉边缘计算解决方案,且现有解决方案成本高、功耗高。

  SoC(系统级芯片/片上系统,System on Chip)是指在芯片中置入了各种功能模块组合,因此,简单来说,SynSense 时识科技提供了一个目前最为高效的完整动态视觉解决方案。

  Speck 是一个生物视觉认知系统,集感知和运算一体,采用“类脑”+“类眼”合并的全仿生技术,是一款完整智能视觉 SoC,其技术特点可以实现超低功耗、低成本、低延迟、隐私安全。

  Speck 最大的特点在于它是以市场为导向的类脑技术。不同的场景对于网络规模和传感范围不同,且在芯片上需要配置的资源也不同。Speck 从应用出发,理解场景的需求,进行算法的设计、验证和优化,并基于典型算法,进行芯片设计,形成专用解决方案,兼具实用性和通用性。

  传统视觉传感器采用基于帧的静态视觉处理方法,以帧速确定的特定时间隔输出整个图像;与之不同的是,Speck 基于类脑感知及计算、纯异步数字电路设计,在芯片端实现对像素级大规模动态数据流实时处理。简单来说,Speck 通过感知光的变化而非绝对值做出决策响应。

  正因如此,Speck 在性能方面展现出绝对的优势。Speck 打破帧的限制,实现 5-10mS 端到端延时,实时性提升 10 倍;功耗方面,可实现应用场景下整体小于 1mW 超低功耗,静态功耗小于 0.5mW。此外,Speck 作为一个完整的解决方案,无需缓存和额外相机,系统成本下降 10 倍,且基于点阵数据的视觉应用处理可以保证隐私安全。

  值得强调的是,Speck 可低至 1mW 整体功耗,无需关闭,可实现真正 always-on。同时,该产品也荣获世界人工智能大会 WAIC 卓越人工智能引领者奖 SAIL。

  上图展示的是 Speck 开发套件,其芯片框架由以下几个模块组成:传感器、图像预处理模块、配置模块、卷积运算核和输出层,其中卷积运算核进行基于单个像素的脉冲卷积运算,运算过程完全由数据驱动,输出层可以基于不同的场景配置不同的输出机制。

  此前,世界上神经元规模最大的类脑芯片是 IBM 制造的 TrueNorth 和英特尔的 Loihi2,其神经元数量为一百万。作为通用的科研新片,实际应用成本相对较高。

  然而,此次 SynSense 时识科技发布的 Speck 芯片完全是以应用和市场为驱动,通过芯片架构和算法优化,开发出具有适配性的算法,进而迭代架构。总之,Speck 及其开发套件的集成度更高,成本更低,是类脑技术进行实际应用的关键一步。

  据 SynSense 时识科技官网介绍,Speck 是一个完备的、感算一体的类脑智能视觉传感器 SoC。Speck 创举性地集动态视觉传感和事件驱动运算于一体,提供高度实时、集成和低功耗的动态视觉解决方案,在传统应用场景下,Speck 可在 mW 级的超低功耗、mS 级的实时响应下,完成智能场景分析。Speck 设计的目标主要是应用于交互类场景。例如,与环境、家电、设备等相关的需要感知人的行为和意图的场景,以及需要低功耗、高实时性且在端侧不需要算力支持的应用场景。此外,在场景应用中不需要外接电源。

  具体来说,Speck 可应用的生活场景包括但不限于移动设备、物联网(IoT)、无人驾驶、智能安防、智能家居、无人机、增强现实(AR)和虚拟显示(VR)、智慧养殖等领域。

  在手势控制场景中,目前市面上比较成熟的方案主要是 ToF 传感器(Time of Flight,飞行时间)和毫米波传感器,其功耗较大,一般在百毫瓦量级。相较于同类解决方案,Speck 采用的感算一体方案极大地降低了功耗及成本。

  此外,SynSense 时识科技将同步释放软件及算法支持,最少仅需一行代码可在 Speck 开发套件上完成网络部署。研究者或开发者们可以连接 PC 调用 Speck 芯片资源,从而直接观察 Speck 中的成像,或进行网络调试。同时,Speck 的低功耗特性也使其支持电池驱动的离线操作乐鱼官方app免费下载。

  乔宁博士是 SynSense 时识科技创始人、首席执行官。2006 年,他本科毕业于西安交通大学微电子与固体电子学,2012 年博士毕业于中科院半导体研究所,2010-2012 年期间在清华大学进行联合培养。

  博士期间,乔宁的研究课题是高性能混合信号电路设计,特别是 SOI(Silicon On Insulator)工艺下的低功耗、低噪声混合信号电路设计。随后加入苏黎世大学神经信息学研究所(Institute of Neuroinformatics, INI)进行博士后研究,于 2017 年 2 月创办 SynSense。

  SynSense 时识科技自成立以来,在类脑应用领域一路高歌猛进。2017 年,aiCTX(SynSense前身)在瑞士成立,完成天使轮融资;2018 年起,获得欧盟 H2020 等 5 个欧盟项目支持,完成百度风投 Pre-A 轮融资;2019 年,aiCTX 发布全球首款动态视觉类脑智能专用处理器 DYNAP-CNN,并获得亚洲消费电子展最佳创新奖、世界人工智能大会卓越人工智能引领奖,同年完成和利资本、默克、科沃斯、云丁等 A 轮近亿元融资。

  2020 年,aiCTX 更名为 SynSense 时识科技,母公司搬回中国,全球运营总部落户成都,并在上海成立芯片研发总部,同年获得上海青年创新创业大赛一等奖。2021 年,SynSense 与中科院苏州纳米所共建“类脑智能联合实验室”,获得成都市高新区高层次“四派人才”企业,入围中国品牌创新发展工程,同时完成中电海康、张江科创投等近 2 亿元 Pre-B 轮融资。此外,SynSense 时识科技作为唯一类脑芯片公司,连续两年上榜 EE Times 100。

  目前,SynSense 时识科技的业务布局全球,主要分布在四个城市,分别是苏黎世高级研发中心,主要负责算法和嵌入式开发以及底层芯片设计;成都运营总部,主要负责产品形态开发;深圳创芯中心,主要进行靠近市场的产品开发;上海/南京 IC 研发中心,主要负责底层芯片设计。

  SynSense 时识科技秉承苏黎世大学和苏黎世联邦理工学院的全球领先类脑研发经验、技术和成果,聚焦边缘运算应用场景,横跨感知与计算两界,专注类脑智能研究与开发,并成功实现全球第一次类脑智能商业化场景应用。

  SynSense 时识科技自成立之处就有超强的学术背景,其技术团队发表期刊论文近 700 篇,引用量 16000+。团队中研发人员占比 70%,涵盖芯片设计、算法开发、软件支持等;独具特色的算法团队囊括国际顶尖的脉冲神经网络算法及应用人才,且 80% 拥有博士学历。

  与我们期待的一样,此次发布会也集结了类脑计算领域的各路大咖。深圳市人工智能行业协会创始人及执行会长郎丽艳表示,脑科学技术已经成为人工智能新的突破口,深圳市将加速类脑技术的产业落地。浙江大学计算机学院唐华锦教授以《Neuromorphic Computing for Next Generation of AI》为题讲述了学习与记忆融合的类脑计算研究进展。此外,清华大学类脑计算研究中心邓磊助理教授分享了其对人工神经网络和脉冲神经网络融合的前沿思考;四川省脑科学与类脑智能研究院院长尧德中教授展示了其研究团队在孪生智能和精准医疗方面的成果。

  SynSense 时识科技的全球业务开发部高级总监、算法与应用部联合高级总监 Dylan Muir 博士和首席科学家 Giacomo Indiveri 教授前瞻了类脑计算发展的趋势,未来将会探索更多的记忆材料,并将在器件、架构、封装及模型和计算方法上进一步创新乐鱼官方app免费下载。

  SynSense 时识科技与英特尔 Intel 交流密切,本此发布会也邀请到 Intel 类脑计算实验室的 Yulia Sandamirskaya 博士分享 Intel 在类脑计算和机器人控制领域的相关研究成果。

  可见,SynSense 时识科技在技术与全球合作方面有着独特的优势。乔宁表示,希望通过发布会展现类脑技术的应用前景,让更多的研究者们关注甚至进入到这一赛道,并且非常希望研究者们利用 Speck 开发套件进行底层算法开发。未来,SynSense 时识科技或将加大与高校和研究院的合作,逐步开始构建类脑技术产业生态。乐鱼leyu官方首页乐鱼leyu官方首页