来源：合泰单片机

本文将介绍基于米尔电子MYD-LT527开发板（米尔基于全志 T527开发板）的FacenetPytorch人脸识别方案测试。

一、深度神经网络

1.简介

Facenet-PyTorch 是一个基于 PyTorch 框架实现的人脸识别库。它提供了 FaceNet 模型的 PyTorch 实现，可以用于训练自己的人脸识别模型。FaceNet 是由 Google 研究人员提出的一种深度学习模型，专门用于人脸识别任务。

在利用PyTorch神经网络算法进行人脸图像对比的实验设置中，我们专注于对比环节，而不涉及实际项目的完整实现细节。但为了贴近实际应用，我们可以构想以下流程：

1）捕捉新人脸图像：首先，我们使用摄像头或其他图像采集设备捕捉一张新的人脸照片。

2）加载存储的人脸图像：接着，从数据库中加载所有已存储的人脸图像。这些图像是之前采集并存储的，用于与新捕捉到的人脸照片进行对比。

3）构建神经网络模型：为了实现对比功能，我们需要一个预先训练好或自定义的神经网络模型。这个模型能够提取人脸图像中的关键特征，使得相似的图像在特征空间中具有相近的表示。

4）特征提取：利用神经网络模型，对新捕捉到的人脸照片和存储的每一张人脸图像进行特征提取。这些特征向量将用于后续的对比计算。

5）计算相似度：采用合适的相似度度量方法（如余弦相似度、欧氏距离等），计算新照片特征向量与存储图像特征向量之间的相似度。

6）确定匹配图像：根据相似度计算结果，找到与新照片相似度最高的存储图像，即认为这两张图像匹配成功。

7）输出匹配结果：最后，输出匹配成功的图像信息或相关标识，以完成人脸对比的实验任务。

2.核心组件

MTCNN：Multi-task Cascaded Convolutional Networks，即多任务级联卷积网络，专门设计用于同时进行人脸检测和对齐。它在处理速度和准确性上都有出色的表现，是当前人脸检测领域的主流算法之一。

FaceNet：由Google研究人员提出的一种深度学习模型，专门用于人脸识别任务。FaceNet通过将人脸图像映射到一个高维空间，使得同一个人的不同图像在这个空间中的距离尽可能小，而不同人的图像距离尽可能大。这种嵌入表示可以直接用于人脸验证、识别和聚类。

米尔基于全志T527开发板

3.功能

支持人脸检测：使用MTCNN算法进行人脸检测，能够准确识别出图像中的人脸位置。

支持人脸识别：使用FaceNet算法进行人脸识别，能够提取人脸特征并进行相似度计算，实现人脸验证和识别功能。

二、安装facenet_pytorch库

1.更新系统

更新ubuntu系统，详情查看米尔提供的资料文件

2.更新系统软件

apt-get update

3.安装git等支持软件

sudo apt-get install -y python3-dev python3-pip libopenblas-dev libssl-dev libffi-dev git cmake

4.安装Pytorch支持工具

# 克隆 PyTorch 源代码

git clone --recursive https://github.com/pytorch/pytorch

# 进入 PyTorch 目录

cd pytorch

# 安装 PyTorch (需要根据你的需求选择 CUDA 版本，如果不需要 GPU 支持则不需要 --cuda 参数)

pip3 install --no-cache-dir torch -f https://download.pytorch.org/whl/torch_stable.html

# 测试 PyTorch 安装

python3 -c "import torch; print(torch.__version__)"

5.安装facenet_pytorch

pip3 install facenet_pytorch

三、CSDN参考案例

1.代码实现

############face_demo.py#############################

import cv2

import torch

from facenet_pytorch import MTCNN, InceptionResnetV1

# 获得人脸特征向量

def load_known_faces(dstImgPath, mtcnn, resnet):

    aligned = []

    knownImg = cv2.imread(dstImgPath)  # 读取图片

    face = mtcnn(knownImg)  # 使用mtcnn检测人脸，返回人脸数组

    if face is not None:

        aligned.append(face[0])

    aligned = torch.stack(aligned).to(device)

    with torch.no_grad():

        known_faces_emb = resnet(aligned).detach().cpu() 

        # 使用ResNet模型获取人脸对应的特征向量

    print("\n人脸对应的特征向量为：\n", known_faces_emb)

    return known_faces_emb, knownImg

# 计算人脸特征向量间的欧氏距离，设置阈值，判断是否为同一张人脸

def match_faces(faces_emb, known_faces_emb, threshold):

    isExistDst = False

    distance = (known_faces_emb[0] - faces_emb[0]).norm().item()

    print("\n两张人脸的欧式距离为：%.2f" % distance)

    if (distance < threshold):

        isExistDst = True

    return isExistDst

if __name__ == '__main__':

    # help(MTCNN)

    # help(InceptionResnetV1)

    # 获取设备

    device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')

    # mtcnn模型加载设置网络参数，进行人脸检测

    mtcnn = MTCNN(min_face_size=12, thresholds=[0.2, 0.2, 0.3],

                  keep_all=True, device=device)

    # InceptionResnetV1模型加载用于获取人脸特征向量

    resnet = InceptionResnetV1(pretrained='vggface2').eval().to(device)

    MatchThreshold = 0.8  # 人脸特征向量匹配阈值设置

    known_faces_emb, _ = load_known_faces('yz.jpg', mtcnn, resnet)  # 已知人物图

    faces_emb, img = load_known_faces('yz1.jpg', mtcnn, resnet)  # 待检测人物图

    isExistDst = match_faces(faces_emb, known_faces_emb, MatchThreshold) # 人脸匹配

    print("设置的人脸特征向量匹配阈值为：", MatchThreshold)

    if isExistDst:

        boxes, prob, landmarks = mtcnn.detect(img, landmarks=True) 

        print('由于欧氏距离小于匹配阈值，故匹配')

    else:

        print('由于欧氏距离大于匹配阈值，故不匹配')

此代码是使用训练后的模型程序进行使用，在程序中需要标明人脸识别对比的图像。

2.实践过程

第一次运行时系统需要下载预训练的vggface模型，下载过程较长，后面就不需要在下载了运行会很快。如图所示：

3.程序运行异常呗终止

运行程序，提示killed，系统杀死了本程序的运行，经过多方面的测试，最终发现是识别的图片过大，使得程序对内存消耗过大导致。后将图片缩小可以正常运行了。

以下是对比图像和对比结果。

四、gitHub开源代码

1.首先下载代码文件

代码库中，大致的介绍了facenet算法的训练步骤等。

2.代码实现

以下是facenet的python代码，注意需要更改下面的一条程序"cuda"             False,因为t527使用的是cpu，芯片到时自带gpu但是cuda用不了，因为cuda是英伟达退出的一种计算机架构。

import matplotlib.pyplot as plt

import numpy as np

import torch

import torch.backends.cudnn as cudnn

from nets.facenet import Facenet as facenet

from utils.utils import preprocess_input, resize_image, show_config

#--------------------------------------------#

#   使用自己训练好的模型预测需要修改2个参数

#   model_path和backbone需要修改！

#--------------------------------------------#

class Facenet(object):

    _defaults = {

        #--------------------------------------------------------------------------#

        #   使用自己训练好的模型进行预测要修改model_path，指向logs文件夹下的权值文件

        #   训练好后logs文件夹下存在多个权值文件，选择验证集损失较低的即可。

        #   验证集损失较低不代表准确度较高，仅代表该权值在验证集上泛化性能较好。

        #--------------------------------------------------------------------------#

        "model_path"    : "model_data/facenet_mobilenet.pth",

        #--------------------------------------------------------------------------#

        #   输入图片的大小。

        #--------------------------------------------------------------------------#

        "input_shape"   : [160, 160, 3],

        #--------------------------------------------------------------------------#

        #   所使用到的主干特征提取网络

        #--------------------------------------------------------------------------#

        "backbone"      : "mobilenet",

        #-------------------------------------------#

        #   是否进行不失真的resize

        #-------------------------------------------#

        "letterbox_image"   : True,

        #-------------------------------------------#

        #   是否使用Cuda

        #   没有GPU可以设置成False

        #-------------------------------------------#

        "cuda"              : False,

    }

    @classmethod

    def get_defaults(cls, n):

        if n in cls._defaults:

            return cls._defaults[n]

        else:

            return "Unrecognized attribute name '" + n + "'"

    #---------------------------------------------------#

    #   初始化Facenet

    #---------------------------------------------------#

    def __init__(self, **kwargs):

        self.__dict__.update(self._defaults)

        for name, value in kwargs.items():

            setattr(self, name, value)

        self.generate()

        show_config(**self._defaults)

    def generate(self):

        #---------------------------------------------------#

        #   载入模型与权值

        #---------------------------------------------------#

        print('Loading weights into state dict...')

        device      = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

        self.net    = facenet(backbone=self.backbone, mode="predict").eval()

        self.net.load_state_dict(torch.load(self.model_path, map_location=device), strict=False)

        print('{} model loaded.'.format(self.model_path))

        if self.cuda:

            self.net = torch.nn.DataParallel(self.net)

            cudnn.benchmark = True

            self.net = self.net.cuda()

    #---------------------------------------------------#

    #   检测图片

    #---------------------------------------------------#

    def detect_image(self, image_1, image_2):

        #---------------------------------------------------#

        #   图片预处理，归一化

        #---------------------------------------------------#

        with torch.no_grad():

            image_1 = resize_image(image_1, [self.input_shape[1], self.input_shape[0]], letterbox_image=self.letterbox_image)

            image_2 = resize_image(image_2, [self.input_shape[1], self.input_shape[0]], letterbox_image=self.letterbox_image)

            photo_1 = torch.from_numpy(np.expand_dims(np.transpose(preprocess_input(np.array(image_1, np.float32)), (2, 0, 1)), 0))

            photo_2 = torch.from_numpy(np.expand_dims(np.transpose(preprocess_input(np.array(image_2, np.float32)), (2, 0, 1)), 0))

            if self.cuda:

                photo_1 = photo_1.cuda()

                photo_2 = photo_2.cuda()

            #---------------------------------------------------#

            #   图片传入网络进行预测

            #---------------------------------------------------#

            output1 = self.net(photo_1).cpu().numpy()

            output2 = self.net(photo_2).cpu().numpy()

            #---------------------------------------------------#

            #   计算二者之间的距离

            #---------------------------------------------------#

            l1 = np.linalg.norm(output1 - output2, axis=1)

        plt.subplot(1, 2, 1)

        plt.imshow(np.array(image_1))

        plt.subplot(1, 2, 2)

        plt.imshow(np.array(image_2))

        plt.text(-12, -12, 'Distance:%.3f' % l1, ha='center', va= 'bottom',fontsize=11)

        plt.show()

        return l1

3.代码实现

此代码调用的签名的代码，但其可以直接的去调用图片进行人脸识别。

from PIL import Image

from facenet import Facenet

if __name__ == "__main__":

    model = Facenet()

    while True:

        image_1 = input('Input image_1 filename:')

        try:

            image_1 = Image.open(image_1)

        except:

            print('Image_1 Open Error! Try again!')

            continue

        image_2 = input('Input image_2 filename:')

        try:

            image_2 = Image.open(image_2)

        except:

            print('Image_2 Open Error! Try again!')

            continue

        probability = model.detect_image(image_1,image_2)

        print(probability)

4.程序运行

运行程序后首先显示的是程序的配置信息，然后可以输入图像对比检测的内容。以下是图像识别的效果和对比的准确率。

五、参考文献

CSDN博客

https://blog.csdn.net/weixin_45939929/article/details/124789487?utm_medi...^v43^pc_blog_bottom_relevance_base6&spm=1001.2101.3001.4242.2&utm_relevant_index=4

官方源码来源

https://gitcode.com/gh_mirrors/fac/facenet-pytorch/overview

我们正在迎来一个全新的汽车时代，即软件定义汽车 (SDV) 的时代。根据分析机构 Counterpoint Research 的预测，到 2026 年底，中国的道路上预计将有超过 100 万辆搭载 L3 级别 ADAS（高级驾驶辅助系统）的汽车。可以预见，随着对高性能计算和更多软件需求的增长，汽车中所需的算力也在迅速增加。鉴于未来 AI 所赋能的软件定义汽车将包含高达十亿行代码，加上显著提高的网联特性，安全挑战也随之变得愈发严峻。为了避免安全漏洞造成严重影响，汽车行业已经开始采取行动，在整个 SDV 中构建深度安全防御措施。

与家庭环境不同，车辆具有独特的“混合关键性”需求，既需要保障安全性和实时功能，又要同时支持更个性化的用户体验和更高的自主化水平。这正是汽车与其他场景的不同之处，也使得 Arm 在汽车领域所开展的大量工作非常具有针对性。

在应对安全挑战方面，Arm 今年带来了一系列全新的汽车技术，旨在满足 AI 赋能的 SDV 在性能、功能安全和信息安全方面的更高要求。其中包括一系列基于 Armv9 架构的全新汽车增强 (AE) IP 处理器，这一设计的核心便是最新的 Arm 信息安全特性。

常见的汽车信息安全挑战

可扩展软件攻击在其他市场已暴露的诸多严重漏洞，在汽车行业中也同样不能避免。一直以来，大部分汽车软件栈都是专有的，因此代码中的安全漏洞不易被发现。然而，在诸如消费电子和物联网等其他市场使用的软件也可能会使用在汽车市场中，导致更多漏洞的出现。正因于此，相关部门提出维护软件物料清单 (SBOM) 的要求以强化软件供应链的安全性，以便一旦在某个软件中发现漏洞，就可以锁定采用该软件的所有位置。

消费者行为同样会影响安全性和商业收入。首先，消费者可能会尝试绕过安全控制启用一些功能，以避免支付额外的费用，而这将导致汽车制造商遭受收入损失。其次，如果消费者使用未经官方认证的廉价 “非原装” 零部件，可能会导致汽车应用中的软件被未知第三方侵入和操控，从而增加勒索软件攻击的风险。如果第三方控制了汽车，则可能会对车辆安全造成直接影响。此外，使用非原装零部件还会导致商业收入受损。

当今汽车上的 SoC 需要同时运行来自多个互不信任实体的软件，而汽车供应链规模庞大且复杂，因此其中也存在着众多安全挑战。要克服这些错综复杂的供应链问题，就需要采用硬件支持的软件管理，以及隔离技术与框架。

最后，SDV 本质就是大型的互联设备，而作为互联设备的基本安全目标，安全通信对于汽车行业来说至关重要。汽车需要从多个来源（如激光雷达、雷达和摄像头）获取感知数据，因此如何实现高速通信的安全性也是目前汽车行业亟待解决的一大挑战。为此，采用高性能的安全机制来保护延迟关键型传感器数据有其必要性。此外，对于通过远程无线 (OTA) 软件更新持续维护和改进 SDV 来说，安全更新也至关重要。

SDV 三大关键应用的安全考虑因素

除了行业普遍面临的安全挑战之外，还有一些特定汽车用例也给 SDV 带来了重大安全影响。其中包括数字座舱/车载信息娱乐系统 (IVI)、先进驾驶辅助系统 (ADAS) 和自动驾驶 (AD)，以及微控制器 (MCU) 和区域架构。

智能座舱/IVI

在 SDV 中，智能座舱和 IVI 的集成度日益提高，为创建和后续管理这些系统增加了复杂性。随着这些系统中的连接功能和需求不断增加，受攻击面也将随之扩大。

智能座舱的受攻击面较大，因为其涵盖多个方面，包括云连接、与智能手机等个人设备的连接、USB 插件和下载应用程序的能力。黑客入侵智能座舱的动机也不尽相同，其包含的个人数据可能对黑客极具价值，比如支付信息。对于 IVI 来说，主要安全风险在于提供了连接车辆其他部分的网关，可用于盗窃或控制车辆。这让勒索或拒绝服务攻击有了可乘之机。

智能座舱和 IVI 还需满足先进的功能安全要求，即符合 ISO 26262 和 ASIL B 等级的安全用例标准，这也需要采取额外的信息安全措施。这两种系统都集成了安全和非安全的多显示屏，以及将功能安全要求与乘客及驾驶员所需的其他相关信息结合在一起的单一物理显示屏。这就形成了一个混合关键安全环境，需要从信息安全角度进行有效管理。

ADAS 和 AD

ADAS 的集成增加了车载资产的数据量和价值。其中包括传感器和执行器数据、用于感知和目标分类的 AI 模型和算法、图形密集型计算（如 360 度摄像头）以及各种混合关键考虑因素。软件数量持续增多，潜在受攻击面不断扩大，而 ADAS 和 AD 又会直接影响车辆控制，因此这或将导致安全威胁进一步加剧。

MCU 和区域架构

以往，汽车 MCU 的漏洞仅限于在汽车内部针对特定汽车电子设备（如车门后视镜）进行攻击。然而，随着汽车行业加速转向集成度和连接性更高的整车架构，黑客可以通过连接性不断增强的组件从车辆外部对整个系统发起远程攻击。这意味着所有 MCU 都需要采取安全措施，如安全启动、安全通信和验证支持，这样才能更有效地保护车辆安全。即使是 SDV 中不构成重大直接威胁的区域（如汽车 MCU）也需要进行安全防护，因为这些区域可能构成入侵车内其他高风险计算系统的薄弱环节。

Arm 引领汽车产业变革

汽车增强 (AE) IP 系列提高性能与安全性

近三十年来，Arm 始终专注于提供以信息安全为中心的架构功能，致力于通过业内领先的技术生态系统确保企业、个人和设备的安全性。我们与生态系统合作伙伴共同携手，带来最新 Armv9 架构安全功能，同时还全力推动在标准化和开源软件方面的持续合作，为整个汽车行业带来坚实的安全保障。

今年上半年，Arm 发布了专为汽车应用设计的汽车增强 (AE) IP 系列，旨在提供高性能、低功耗、高安全性的计算能力，涵盖了包括 Neoverse V3AE CPU、Cortex-A720AE 处理器、Cortex-A520AE 处理器、Cortex-R82AE 处理器和 Mali-C720AE ISP 在内的多个核心组件，满足汽车计算的全方位需求。

全新 Arm AE IP 采用了关键的 Armv9 防御性执行技术和架构特性，可预防攻击或恶意软件。指针验证 (PAC)、分支目标识别 (BTI) 和内存标记扩展 (MTE) 等技术通过保护软件控制流的完整性并减少内存安全漏洞的影响，来应对不断增长的代码行数所带来的风险。这对汽车市场至关重要，因为目前仍存在大量使用如 C 语言等的非内存安全语言编写的遗留代码，这些代码可被移植到未来的 SDV 中。

此外，Arm 还遵循先进的产品安全实践和标准，如 ISO/SAE 21434 标准，确保在所有产品的设计、开发和开发后阶段，对安全风险进行严格的管理。Arm 为汽车合作伙伴提供了一系列支持性安全材料，以便更轻松地将 Arm 的现成组件集成到符合 ISO/SAE 21434 标准的设计中。

安全并非仅靠硬件层面就能实现。通过借助框架和 API 解决方案，Arm 正在帮助软件生态系统部署上述架构功能，以实现更优越的功能。

Arm 积极参与创建标准安全 API，并持续为其贡献力量，例如推出了 PSA Certified 加密 API，在固件开发者和硬件供应商之间建立起合作的桥梁。如此一来，Arm 可助力开发者专注于固件设计，而不必了解每一项新的集成所涉及的专有硬件规则。同时，对于硬件供应商来说，标准 API 降低了准入门槛，使他们能够专注于商业差异化创造的价值。

系统化设计，加速实现 SDV 的未来

除了安全性外，Arm 正从系统层面思考 SDV 面临的挑战，如标准化、上市进程等方面的挑战，将硬件、软件和生态无缝集成到全面的解决方案，使其具备卓越的可扩展性、性能和能效，并能够加速产品上市，进而加速 SDV 的落地进程。为此，Arm 推出了计算子系统 (CSS)，正如 Neoverse CSS 和终端 CSS 一样，Arm 也计划推出汽车 CSS，将其 AE IP 的配置进行预集成与验证，并在先进的代工工艺上，对性能、功耗和面积进行优化，首款 Arm 汽车 CSS 预计于 2025 年交付。

此外，为了助力合作伙伴进一步实现芯片和软件开发与部署，Arm 还同步推出了基于前沿技术的全新虚拟原型平台。借助虚拟原型平台，Arm 的汽车合作伙伴无需等待物理芯片就绪，即可通过虚拟原型的方式对 IP 进行评估。通过重塑合作伙伴的设计流程，虚拟原型平台加快了 SDV 芯片和软件的开发和部署，从而缩短上市进程。

在生态方面，为助力汽车和云计算社区构建起一个共同的平台以促进协作和测试，进而推动 SDV 时代的发展，Arm 在三年前还牵头成立了 SOAFEE（面向嵌入式边缘的可扩展开放架构）。SOAFEE 作为一项全行业倡议，Arm 在其中起主导作用，并通过提升互操作性并加强生态系统协作的统一架构框架，推动软件的标准化进程。SOAFEE 的成员打造了一个全新的软件解决方案生态系统，通过实现软件一致性来为芯片开发和部署进程提供支持，这对于将在 2025 年推出的 Arm 汽车计算子系统 (CSS) 至关重要。

SOAFEE 自成立以来在不断持续壮大，目前成员数量已超过 140 家，包括芯片供应商、软件提供商、系统集成商、云服务提供商、一级供应商、OEM 厂商等，中国社区成员包括吉利、联想、中科创达、知从科技、智达诚远、物联智行、映驰科技等。如今，SOAFEE 正向其下一阶段迈进，即“SOAFEE.next”，也标志着 SOAFEE 进入到了执行阶段。

作为汽车行业迈向未来的基石，Arm 始终立于 SDV 技术革新的前沿。凭借全面的安全功能、开放的标准化平台和强大的生态合作，Arm 将继续推动汽车行业的安全性和可靠性，为未来的 AI 赋能 SDV 提供稳固支持。

汇聚行业智慧，促进技术共享。2024年11月15日-16日，openEuler Summit 2024在北京中关村国际创新中心圆满落幕。本次大会由开放原子开源基金会（以下简称“基金会”）孵化及运营的 openEuler 社区协同产业伙伴共同主办，以“以智能，致世界”为主题，旨在汇聚全球产业界力量，推动基础软件根技术持续创新，共建全球开源新生态。米尔电子作为领先的嵌入式处理器模组厂商出席了此次活动，并发表了演讲和展出最新的技术应用方案。

此次活动，米尔电子副总经理Alan在嵌入式技术分论坛，发表题为“嵌入式欧拉系统在工业场景的最新应用”的演讲。会上，Alan分享了欧拉系统在嵌入式系统中的丰富应用，并介绍了米尔基于欧拉系统开发的丰富的应用方案。欧拉系统为嵌入式工业设备提供需要的软件特性、中间件和功能扩展，可丰富应用到EtherCat主站、人机界面、机器视觉AI、工业多路监控等领域。米尔提供的基于欧拉系统的核心模组，产品贴近实际应用需求，其性能强大、高安全性、高可靠性、高可持续性软硬件平台，可满足各种工业控制器场景应用，赋能金融、运营商、能源、物流、高校&科研、云计算等行业。

此次会议上，米尔还在参会现场展示了米尔的核心板和配套开发板、工业控制器，其中基于MYD-LT536开发板、MYD-LR3562开发板的demo吸引了广大参会关注，工作人员给大家进行了详细的演示和介绍。

会议在学术领袖、领先的行业用户、生态伙伴以及开发者等参与下，圆满结束。未来，米尔将继续开拓创新，为工程师提供更高品质的产品、更优质的服务、更全的产品选型平台，并丰富操作系统应用，助力开发者开发成功。