All Node List by Editor

有多种 3D 传感器方案来实现深度感知系统，包括立体视觉相机、激光雷达和TOF(飞行时间)相机。每个选择都有其优缺点，其中，嵌入式深度感知立体系统成本低，坚固耐用，适合户外使用，并且能够提供高分辨率的彩色点云。

目前市场上有各种现成的立体感知系统。有时系统工程师需求根据精度、基线(两个相机间距)、视野和分辨率等因素，构建定制系统来满足特定的应用需求。

在本文中，我们首先介绍了立体视觉系统的主要部分，并提供了有关使用硬件组成和开源软件制作定制立体相机的说明。由于此设置专注于嵌入式系统，因此它将实时计算任何场景的深度图，而无需电脑主机。在另一篇文章中，我们将讨论如何在空间较少的情况下构建定制立体视觉系统，以便与电脑主机一起使用。

立体视觉概述

立体视觉是通过从两个视角比较场景中的信息，从数字图像中提取 3D 信息。物体在两个图像平面中的相对位置可提供关于物体距离相机的深度的信息。

立体视觉系统概述如图 1 所示，包括以下关键步骤：

1. 校准：相机校准包括内部校准和外部校准。内部校准确定图像中心、焦距和失真参数，而外部校准确定相机的 3D 位置。这在许多计算机视觉应用中是至关重要的一步，尤其是在需要有关场景的计量信息（例如深度）时。我们将在下文第 5 节详细讨论校准步骤。

2. 纠正：立体纠正是指将图像平面重新投影到与相机中心之间的线平行的公共平面上的过程。纠正后，对应点位于同一行，大大降低了匹配的成本和模糊度。此步骤在提供的代码中完成，用于构建您自己的系统。

3. 立体匹配：这是指在左右图像之间匹配像素的过程，从而产生视差图像。提供的代码中将使用半全局匹配 (SGM) 算法来构建您自己的系统。

4. 三角测量：三角测量是指在给定 3D 空间中的点投影到两个图像上的情况下确定该点的过程。视差图像将转换为 3D 点云。

图 1：立体视觉系统概述

设计示例

我们来看一个立体声系统设计示例。以下是移动机器人在具有快速移动物体的动态环境中的应用要求。有关场景大小为 2 m，相机到场景的距离为 3 m，在 3 m 处所需的精度为 1 cm。

有关立体精度的更多详细信息，请参阅本文。深度误差由下式给出：ΔZ=Z²/Bf * Δd，这取决于以下因素：

• Z 是范围

• B 是基线

• f 是以像素为单位的焦距，与相机视野和图像分辨率有关

有多种设计选项可以满足这些要求。根据上述场景大小和距离要求，我们可以确定特定传感器的镜头焦距。结合基线，我们可以使用上述公式计算 3 m 处的预期深度误差，以验证其是否满足精度要求。

图 2 显示了两个选项，使用基线较长的低分辨率相机或基线较短的高分辨率相机。第一个选项是较大的相机，但计算需求较低，而第二个选项是更紧凑的相机，但计算需求较高。对于此应用，我们选择了第二个选项，因为紧凑的尺寸更适合移动机器人，我们可以使用适用于 TX2 的 Quartet 嵌入式解决方案，该解决方案具有强大的板载 GPU 来满足处理需求。

图 2：示例应用的立体声系统设计选项

硬件要求

在本例中，我们使用 IMX273 Sony Pregius 全局快门传感器将两台 Blackfly S 板级 160 万像素相机安装在 12 cm 基线处的 3D 印刷杆上。这两台相机都有类似的 6 mm S 接口镜头。相机使用两条 FPC 电缆连接到“适用于 TX2 的 Quartet 嵌入式解决方案”定制载板。为了同步左右相机以同时捕捉图像，制作了一条连接两个相机的同步电缆。图 3 显示了我们定制的嵌入式立体声系统的前后视图。

图 3：定制嵌入式立体声系统的前后视图

下表列出了所有硬件组件：

应调整两个镜头，以将相机聚焦在您的应用所需的距离范围内。拧紧每个镜头上的螺钉（图 4 中以红色圈出）以保持对焦。

图 4：显示镜头螺钉的立体声系统侧视图

软件要求

a. Spinnaker

Teledyne FLIR Spinnaker SDK 已预装在适用于 TX2 的 Quartet 嵌入式解决方案中。Spinnaker 需要与相机进行通信。

b. 支持 CUDA 的 OpenCV 4.5.2

SGM（我们正在使用的立体匹配算法）需要 OpenCV 4.5.1 或更高版本。下载包含本文代码的 zip 文件，并将其解压缩到 StereoDepth 文件夹。安装 OpenCV 的脚本是 OpenCVInstaller.sh。在终端中键入以下命令：

• cd ~/StereoDepth

• chmod +x OpenCVInstaller.sh

• ./OpenCVInstaller.sh

安装程序将要求您输入管理员密码。安装程序将开始安装 OpenCV 4.5.2。下载和构建 OpenCV 可能需要几个小时。

校准

抓取和校准立体图像的代码可在 “Calibration” 文件夹中找到。使用 SpinView GUI 识别左右相机的序列号。在我们的设置中，右相机是主相机，左相机是从相机。将主从相机序列号复制到文件 grabStereoImages.cpp 第 60 和 61 行。在终端中使用以下命令构建可执行文件：

• cd ~/StereoDepth/Calibration

• mkdir build

• mkdir -p images/{left, right}

• cd build

• cmake ..

• make

从此链接打印出棋盘状图案，并将其贴在平面上用作校准目标。为了在校准时获得最佳效果，在 SpinView 中将 Exposure Auto 设置为 Off 并调整曝光，使棋盘状图案清晰且白色方块不会过度曝光，如图 5 所示。收集校准图像后，增益和曝光可在 SpinView 中设置为自动。

图 5：SpinView GUI 设置

要开始收集图像，请键入

• ./grabStereoImages

代码应以大约 1 帧/秒的速度开始收集图像。左侧图像存储在 images/left 文件夹中，右侧图像存储在 images/right 文件夹中。移动目标，使其出现在图像的每个角落。您可以旋转目标，从近处和远处拍摄图像。默认情况下，该程序捕获 100 个图像对，但可以使用命令行参数进行更改：

• ./grabStereoImages 20

这将仅收集 20 对图像。请注意，这将覆盖之前写入文件夹中的所有图像。部分示例校准图像如图 6 所示。

图 6：示例校准图像

收集图像后，通过键入以下内容运行校准 Python 代码：

• cd ~/StereoDepth/Calibration

• python cameraCalibration.py

这将生成 2 个名为 “intrinsics.yml” 和 “extrinsics.yml” 的文件，其中包含立体声系统的内部和外部参数。该代码默认采用 30mm 棋盘方格，但可以根据需要进行编辑。在校准结束时，它会显示 RMS 误差，表明校准的好坏。良好校准的典型 RMS 误差应低于 0.5 像素。

实时深度图

实时计算视差的代码位于 “Depth” 文件夹中。将相机序列号复制到文件 live_disparity.cpp 第 230 和 231 行。在终端中使用以下命令构建可执行文件：

• cd ~/StereoDepth/Depth

• mkdir build

• cd build

• cmake ..

• make

将校准步骤中获得的 “intrinsics.yml” 和 “extrinsics.yml” 文件复制到此文件夹。要运行实时深度图演示，请键入

• ./live_disparity

它将显示左相机图像（原始未纠正图像）和深度图（我们的最终输出）。部分示例输出如图 7 所示。与相机的距离根据深度图右侧的图例进行颜色编码。深度图中的黑色区域意味着在该区域中没有发现视差数据。得益于 NVIDIA Jetson TX2 GPU，它在 1440 × 1080 的分辨率下可运行高达 5 帧/秒，在 720 × 540 的分辨率下可运行高达 13 帧/秒。

要查看特定点的深度，请在深度图中单击该点，深度将会显示出来，如图 7 中最后一个示例所示。

图 7：对左相机图像和相应的深度图进行采样。底部深度图还会显示特定点的深度。

摘要

使用立体视觉来形成深度信息感知的优势众多，包括在户外工作良好，能够提供高分辨率的深度图，可通过低成本的现成组件制作。当您需要开发一个定制化的嵌入式立体感知系统，根据此处提供的说明进行操作，也将是一个相对简单的任务。

近日，壁仞科技与浪潮信息签署元脑生态战略合作协议，双方将在产品开发、项目合作、市场拓展、生态共建等多维度展开深入合作，充分发挥各自优势，实现产品方案互补，促进算力创新，推动产业AI化加速落地。

壁仞科技是国内高端GPU芯片"独角兽"，致力于研发原创性的通用计算体系，建立高效的软硬件平台，同时在智能计算领域提供一体化解决方案。目前，壁仞科技研发的首款高端通用GPU芯片已点亮流片进入量产，是国内算力最大的通用GPU芯片，即将在全球芯片行业顶级盛会HOT CHIPS亮相。

元脑生态是业内领先的AI生态，由浪潮信息联合技术侧的芯片、算法等左手伙伴，以及应用侧的分销、ISV、SI、IVR、咨询、运维等右手伙伴共同组成。在元脑生态中，浪潮信息为伙伴开放领先的计算平台、资源平台和算法平台，支持左右手伙伴的协作和方案落地。

壁仞科技加入元脑生态，将有助于推动智能通用GPU芯片的持续突破，加速产品创新，为数字经济和智能社会构建坚实的算力基础。同时，双方将在元脑生态的框架内，探索共同研发世界领先的人工智能软硬件、服务一体化解决方案，并推动解决方案在实际场景中落地应用，从而满足通信、能源、交通、金融等行业的数字化、智能化发展需求。

目前，壁仞科技携手浪潮信息正在推进通用GPU芯片与浪潮AI服务器、AIStation智能业务生产创新平台的适配对接，将为人工智能研发和应用提供强大的算力基础设施，满足计算机视觉、自然语言处理、智能语音、知识图谱等多样化人工智能应用场景的需求。

壁仞科技联合创始人、总裁徐凌杰表示："当前，随着人工智能应用的飞速发展，各行各业对智能算力的需求不断提升，以通用GPU为核心、服务器为载体的云端人工智能算力基础设施创新的必要性尤为凸显。壁仞科技希望与浪潮信息及元脑生态广大的左右手合作伙伴紧密合作，共同开拓人工智能广阔市场，助力社会经济数字化转型和高质量发展，为百业发展提供强大的国产算力支撑。"

浪潮信息副总裁、AI&HPC产品线总经理刘军表示："壁仞科技在通用智能计算领域具备强大的创新实力，能够为元脑生态注入充沛的算力，并有助于推动产业智能化的持续升级。我们将充分发挥元脑生态在AI能力融合方面的优势，与壁仞科技等伙伴一起加速AI整体解决方案的研发与落地，推动产业AI化进程。"

元脑生态由浪潮信息发起，聚合具备AI开发核心能力的左手伙伴和具备行业AI整体方案交付能力的右手伙伴，正在助力AI技术与市场的高效融合，实现智慧转型的全生命周期的交付与服务，促进智算创新技术、场景应用与交付服务的融合落地，加速行业智能构建，最终帮助用户完成业务智能转型升级。目前，元脑生态已经拥有4000+合作伙伴，并在智慧金融、智慧城市、智慧交通、智慧能源、智慧科研等领域实现成功牵手和落地应用。

稿源：美通社

正在庆祝其成立11周年！以下是OctaFX多年来取得的成就，以及其一路走来的品牌理念核心要素。全球经纪商OctaFX的规模进入了一个新阶段——这一切都要归功于客户的支持。以下是OctaFX在过去11年中取得的主要成就。

上面只是些数字。但数字的背后代表了什么？OctaFX 分享了其理念的核心要素，以及该理念如何帮助OctaFX 让其客户的投资旅程尽可能顺利。

OctaFX全天候在线。该经纪商已经处理了880万个请求，并花费了大约96,800,000分钟诚实和公开地解决、回答客户的问题。

OctaFX一直在寻找改进的方法，因此仔细分析所有的反馈，确定交易者在使用其服务或功能时所面临的问题。这些问题是 OctaFX 开发的指导原则。除了其他重大变化，它还设法将平均验证过程减少到大约3分钟，85% 的客户一次就能通过验证。

世界金融在不断变化，OctaFX时刻保持灵活并随时准备转型和发展。因此发布了自己的移动交易和跟单（复制）交易应用程序，还添加了加密货币、股指等各种热门的资产品种，并开发了一个跟单（复制)交易平台，其独特功能是寻找和跟单（复制）职业交易者。

数据是 OctaFX 的驱动力。该经纪商不断对自身进行研究和分析，了解最新的金融技术——所有这些都是为了确保OctaFX 不仅能为客户提供最好的交易条件，而且还能为其客户提供最尖端的技术解决方案。

OctaFX专注于客户的目标，这就是为什么OctaFX试图消除其限制客户交易体验和限制其实现多样化方法的所有障碍。为了帮助客户增强其交易，让长期策略更有效，该经纪商决定在今年5月完全取消掉期费。

OctaFX为了拉近与您的距离，决定重塑品牌，展示全新面貌：精致的颜色、太空元素和全新logo。

“如果没有我们的客户，我们所有的成就和转变都将毫无意义。正是我们的客户推动了我们的发展，让我们始终保持前行。正是我们的客户激励着我们，让我们变得时尚、活力、创新、自信。我们向所有选择我们作为经纪商的客户表示诚挚的谢意。”OctaFX 新闻办公室评论道。

OctaFX为了庆祝其成立11周年，OctaFX在MT4和MT5平台，下调了其通常低于市场平均水平的点差，让OctaFX拥有了行业最低点差。该经纪商已将XAUUSD、EURUSD、GBPUSD、USDJPY、GBPJPY、USDCHF、XTIUSD和US30的点差下调了20%，BTCUSD和ETHUSD的点差下调了25%。

关于OctaFX

OctaFX 是一个全球经纪商，自2011年起在全球范围内提供在线交易服务。它提供实现个人投资目标所需的一切，以及一流的交易条件，它已被来自全球150多个国家的客户所使用。该公司参与了一个全方面的慈善和人道主义倡议网络，包括改善教育基础设施、紧急救济项目、支持当地社区以及中小型企业。此外，OctaFX自成立以来已获得了45多项奖项，包括《全球银行与金融评论》（Global Banking&Finance Review）颁发的2021年“亚洲最佳外汇经纪商”奖和《世界金融》（World Finance）颁发的2021年“最佳ECN经纪商”奖。 www.octafx.com

SMC 2000系列可为下一代CPU和SoC提供DDR存储带宽和容量扩展、可靠性和介质灵活性，提高人工智能和机器学习性能

受处理器增加存储通道的限制，来自人工智能（AI）和机器学习（ML）工作负载、云计算和部署于传统并行连接存储器上的数据分析的连续计算需求已达到效率的极限。Microchip Technology Inc.（美国微芯科技公司）今日宣布扩大旗下串行连接存储控制器产品阵容，推出基于Compute Express Link™（CXL™）的新型SMC 2000系列智能存储控制器，使CPU、GPU和SoC能够利用CXL接口连接DDR4或DDR5存储器。该解决方案可为每个内核提供更大的存储带宽和更高的存储容量，并使现代CPU能够优化应用工作负载，从而降低数据中心的整体总拥有成本。

低延迟SMC 2000 16x32G和SMC 2000 8x32G存储控制器的设计符合CXL 1.1和CXL 2.0规范、DDR4和DDR5 JEDEC标准，并支持PCIe^® 5.0规范速度。SMC 2000 16x32G是业界容量最大的控制器，有16条通道，运行速度为32 GT/s，支持DDR4-3200或DDR5-4800的两个通道，从而大大减少了每个存储通道所需的主机CPU或SoC引脚数量。

典型的CXL连接的存储模块包括512 GB或以上存储器，提供了有效的机制来增加处理内核事务可用的存储带宽。这种新的模式转变让数据中心运营商能够根据实际应用需求，部署更广泛的存储器与CPU内核的比例，从而提高存储器利用率，降低总拥有成本。

Microchip数据中心解决方案业务部副总裁Pete Hazen表示：“Microchip很高兴向市场推出我们首款基于CXL的串行存储控制器。我们很早就认定CXL是一项颠覆性技术，对相关标准的制定不可或缺。Microchip在存储器基础设施市场持续深耕，致力于提升广泛的SoC应用的性能和效率，以支持高性能数据中心应用不断增长的存储要求。”

CXL联盟主席Siamak Tavallaei表示：“成立CXL联盟的初衷是向业界提供一个开放标准，以提升下一代数据中心的性能。我们很高兴看到Microchip作为CXL联盟的重要贡献者，推出了一款CXL解决方案，有助于为高性能异构计算构建新的生态系统。”

Microchip基于SMC 2000 CXL的存储控制器采用创新设计，提供可靠性、可用性和可维护性（RAS）功能，将解决方案的效率和性能提升到新的水平。通过CXL连接，SMC 2000外部存储控制器使CPU或SoC能够利用具有不同成本、功耗和性能指标的多种介质类型，而无需为每种不同类型介质集成专门的存储控制器。例如，通过使用带有DDR-4存储器的SMC 2000控制器，仅直接支持DDR5的高级CPU现在也可以重新使用DDR-4存储器扩展。借助双重签名认证和可信平台支持、安全调试和安全固件更新，可确保基于SMC 2000 CXL的控制器系列也能满足所有关键的存储和企业应用安全需求。

数据中心应用工作负载需要未来的存储器产品能够提供与今天基于并行DDR的存储产品相同的高性能带宽、低延迟和可靠性。CXL平台是近年来最大的行业颠覆性技术之一，为CPU带来了新的标准串行接口，可将存储器扩展到并行DDR接口之外，为数据中心提供更高的效率和性能。

开发工具

为了支持客户建立符合CXL标准的前沿系统，SMC 2000配备了并行设计导入（design-in collateral）和ChipLink诊断工具，可通过直观的GUI提供广泛的调试、诊断、配置和分析工具。

供货与定价

SMC 2000 16x32G将在2022年第三季度向部分客户提供样品。如需了解更多信息，请访问www.microchip.com/smartmemory。如需订购样品，请联系Microchip销售代表。

资源

可通过Flickr或联系编辑获取高分辨率图片（可免费发布）：

• 应用图片：www.flickr.com/photos/microchiptechnology/52209915371/sizes/l

来自CXL社区的更多评论

AMD数据中心生态系统和解决方案企业副总裁Raghu Nambiar表示：“今天的数据中心需要在整个计算生态系统中不断创新，包括存储接口技术，以满足客户的性能和可扩展性要求。Microchip新推出的SMC 2000利用CXL接口进行存储扩展，可以大大提升系统性能。我们很高兴能与Microchip合作，为我们共同的客户提供强大的存储解决方案，推动计算机行业向前发展，以满足下一代数据中心的需求。”

Cadence公司高级副总裁兼系统与验证部总经理Paul Cunningham表示：“Cadence与Microchip在CXL验证和合规性测试方面进行了密切合作，利用多种Cadence验证IP产品对推进AI和HPC应用性能所需的互联技术进行了精准调试。Microchip发布的SMC 2000 CXL控制器提供了下一代CPU和GPU所需的存储带宽和容量扩展，以加速高性能计算。”

戴尔研究员兼副总裁Stuart Berke表示：“戴尔是CXL的有力推动者，并积极参与CXL联盟事务和标准制定。CXL提供了所需的灵活基础设施，可优化我们未来系统现有和新兴工作负载的总成本。我们很高兴看到Microchip基于SMC 2000 CXL的智能存储控制器进入CXL存储生态系统。”

英特尔技术计划总监Jim Pappas表示：“目前，对低延迟和高带宽I/O解决方案的需求推动了CXL的发展。Microchip的SMC 2000智能存储控制器是发展中的CXL生态系统的主要贡献者，我们很高兴看到他们的投入推动了CXL设备的更广泛部署，并促进行业快速采用。”

联想基础设施解决方案集团首席技术官Greg Huff表示：“作为CXL联盟的积极成员，联想致力于开发这一重要标准，并帮助建立围绕新CXL互连的生态系统。我们很高兴参与开发解决方案的工作，帮助实现数据中心性能和效率的新时代，并与Microchip合作，促进创新的CXL产品在未来联想系统中的发展和采用。”

美光计算和网络业务部高级副总裁兼总经理Raj Hazra表示：“我们坚决支持发展丰富的创新存储技术生态系统，以提高系统规模的容量和性能。CXL是一项突破性的创新技术，将为可组合的系统架构打开大门，促进以新的方式连接美光行业领先的内存和存储。”

三星电子存储器全球销售和营销副总裁、CXL联盟总监Cheolmin Park表示：“在推出全球首个基于ASIC的CXL DRAM模块以及开源软件工具包之后，三星将继续与我们的客户和合作伙伴合作，推动CXL产品的商业化，以满足对数据密集型应用日益增长的需求。我们很高兴Microchip的SMC 2000智能存储控制器将能提供数据中心行业所需的内存性能和容量扩展，从而以更高的成本效率管理日益密集的存储工作负载。”

SK海力士DRAM产品企划副总裁Uksong Kang表示：“预计CXL存储解决方案将在未来为业界创造许多新的机会，未来将不断出现更复杂的以内存为基础的应用。它将使客户能够以更低的总体拥有成本，通过对带宽和容量的额外扩展来更有效地管理存储器。SK海力士期望Microchip的SMC 2000存储控制器可提供一个理想的解决方案，以满足此类需求，并加快扩大整个CXL生态系统。”

SMART Modular专业存储器业务副总裁Satya Iyer表示：“SMART已经将Microchip的SMC 2000设计到CXL E3.S存储模块（XMM）中，并且正在应用到支持CXL的新平台中。SMART在推出基于新兴工业互联标准（如OpenCAPI DDIMM）的新产品方面拥有丰富的经验，现在正携手Microchip将XMM加入我们的CXL产品阵容。”

Microchip Technology Inc. 简介

Microchip Technology Inc.是致力于智能、互联和安全的嵌入式控制解决方案的领先供应商。其易于使用的开发工具和丰富的产品组合让客户能够创建最佳设计，从而在降低风险的同时减少系统总成本，缩短上市时间。Microchip的解决方案为工业、汽车、消费、航天和国防、通信以及计算市场中12万多家客户提供服务。Microchip总部位于美国亚利桑那州Chandler市，提供出色的技术支持、可靠的产品交付和卓越的质量。详情请访问公司网站www.microchip.com。