基于 face_recognition 和 PID 的人脸识别和跟踪

栏目: 编程工具 · 发布时间: 4年前

内容简介:如何让机器人头部摄像头跟随识别到人脸位置变化而转动?一帧图像是 2 维的,人脸位置用坐标 (x,y) 表示,要实现跟踪人脸则需要两个轴

基于 face_recognition 和 PID 的舵机云台人脸识别和跟踪

如何让机器人头部摄像头跟随识别到人脸位置变化而转动?一帧图像是 2 维的,人脸位置用坐标 (x,y) 表示,要实现跟踪人脸则需要两个轴 pan, tilt

  • pan : 水平左右方向转头
  • tilt : 竖直上下方向转头

基于 face_recognition 和 PID 的人脸识别和跟踪

基于 face_recognition 和 PID 的人脸识别和跟踪

人脸识别

首先需要在每一帧图像中识别到人脸, face_recognition 一个简单易用的人脸识别开源项目,并且配备了完整的开发文档和示例代码,还特别兼容了树莓派。face_recognition 基于 C++ 开源库 dlib 的深度学习模型,使用 Labeled Faces in the Wild 人脸数据集进行测试,有高达99.38%的准确率。

安装 face_recognition

安装步骤请参考: face_recognition#installation

识别人脸 Python 代码

import face_recognition

def face_location(frame, frame_center):
    face_locations = face_recognition.face_locations(frame)
    if len(face_locations) > 0:
        y0, x0, y1, x1 = face_locations[0]
        face_x = int((x0 + x1) / 2)
        face_y = int((y0 + y1) / 2)
        return face_x, face_y
    return frame_center

PID 控制

使用 face_recognition 可以很容易地用 Python 代码实现人脸识别,计算出人脸在一帧图像中的像素坐标 (x, y) ,接下来就是需要控制舵机对人脸进行跟踪。

控制目标: 调整横向和纵向两个自由度的舵机,使得摄像头中的人脸中心与图像的中心重合。

这就需要引入 PID 控制了,先直接放公式

\[ u(t)=K_{\mathrm{p}} e(t)+K_{\mathrm{i}} \int_{0}^{t} e\left(t^{\prime}\right) d t^{\prime}+K_{\mathrm{d}} \frac{d e(t)}{d t} \]

  • 时间 \(t\) ,在这里时间是离散的;
  • 偏差 \(e(t)\) ,在人脸跟踪中指的是图像中心与人脸中心之间的距离(x 方向,y 方向);
  • 系统输出 \(u(t)\) ,即输出的舵机角度(分水平和垂直方向两个舵机的角度);

接下来需要理解, \(K_p\)\(K_i\)\(K_d\) 三个参数的作用

比例(P)

比例控制的输出信号与输入偏差成比例关系。偏差一旦产生,控制器立即产生控制作用以减小偏差,是最基本的控制规律。当仅有比例控制时系统输出存在稳态误差。

  • 当人脸与图像中心相距 较远 时,需要舵机 大幅度 运动对准人脸
  • 当人脸与图像中心相距 较近 时,需要舵机 小幅度 靠近对准人脸

根据 kp 取值不同,摄像头都会去对准人脸,只是 kp 大了到达的快, kp 小了到达的慢一些。

积分(I)

防止系统进入稳定后存在的稳定误差,即有可能摄像头稳定后停下来了,但是没有对准人脸的中心。为了消除稳态误差,必须引入积分控制。积分作用是对历史的偏差进行积分,随着时间的增加,积分输出会增大,使稳态误差进一步减小,直到偏差为零,才不再继续增加,最后系统稳定下来,才可能正好中心对准人脸。

微分(D)

在微分控制中,控制器的输出与输入偏差信号的微分(即偏差的变化率)成正比关系。微分控制反映偏差的变化率,只有当偏差随时间变化时,微分控制才会对系统起作用,而对无变化或缓慢变化的对象不起作用。通俗来说,是为了在人脸追踪时,防止 追过劲了 ,在中心对准人脸后可以及时地停止,防止震荡。

PID 代码实现

在理解概念和公式后,就不难代码实现

# https://www.pyimagesearch.com/2019/04/01/pan-tilt-face-tracking-with-a-raspberry-pi-and-opencv/
import time

class PID:
    def __init__(self, kP=1, kI=0, kD=0):
        # initialize gains
        self.kP = kP
        self.kI = kI
        self.kD = kD

    def initialize(self):
        # intialize the current and previous time
        self.currTime = time.time()
        self.prevTime = self.currTime

        # initialize the previous error
        self.prevError = 0

        # initialize the term result variables
        self.cP = 0
        self.cI = 0
        self.cD = 0

    def update(self, error, sleep=0.2):
        # pause for a bit
        time.sleep(sleep)

        # grab the current time and calculate delta time
        self.currTime = time.time()
        deltaTime = self.currTime - self.prevTime

        # delta error
        deltaError = error - self.prevError

        # proportional term
        self.cP = error

        # integral term
        self.cI += error * deltaTime

        # derivative term and prevent divide by zero
        self.cD = (deltaError / deltaTime) if deltaTime > 0 else 0

        # save previous time and error for the next update
        self.prevTime = self.currTime
        self.prevError = error

        # sum the terms and return
        return sum([
            self.kP * self.cP,
            self.kI * self.cI,
            self.kD * self.cD])

代码设计

由于云台有 2 个自由度(pan, tilt),所以需要用到 2 个 PID 控制器,来输出对应的角度

  • \(x\) 轴偏差 对应 水平左右转动 pan
  • \(y\) 轴偏差 对应 垂直上下转动 tilt

在代码设计时,需要考虑如下几点限制因素

  • 受限于设备的性能,使用 face_recognition 识别一帧图像里的人脸可能会非常耗时
  • 舵机控制时,不同的舵机响应时间不同
  • PID 在代码中是通过循环累加来计算的;
def thread_face_center():
    print('face_center ..')
    process_this_frame = 0
    while True:
        time.sleep(0.01)
        if not QUEUE_IMG.empty():
            frame = QUEUE_IMG.get()
        else:
            continue

        (h, w) = frame.shape[:2]
        HEAD.center_x = w // 2
        HEAD.center_y = h // 2

        if process_this_frame > 8:
            HEAD.obj_x, HEAD.obj_y = face_location(frame, (HEAD.center_x, HEAD.center_y))
            print(HEAD.obj_x, HEAD.obj_y)
            process_this_frame = 0
        process_this_frame += 1


def thread_pid_pan():
    p, i, d = 0.09, 0.08, 0.002

    pid = PID(p, i, d)
    pid.initialize()
    while True:
        error = HEAD.center_x - HEAD.obj_x
        HEAD.pan = pid.update(error)


def thread_pid_tlt():
    p, i, d = 0.11, 0.10, 0.002

    pid = PID(p, i, d)
    pid.initialize()
    while True:
        error = HEAD.center_y - HEAD.obj_y
        HEAD.tlt = pid.update(error)

def thread_set_servos():
    set_head_servo([0, 90])
    while True:
        time.sleep(0.01)
        pan_angle = HEAD.pan + 0
        tlt_angle = 90 - HEAD.tlt
        print('[pan_angle, tlt_angle] = ', pan_angle, tlt_angle)
        set_head_servo([pan_angle, tlt_angle])

需要将人脸识别、PID 过程、角度控制放到 单独的线程 处理。

async_do_job(thread_face_center)
async_do_job(thread_pid_pan)
async_do_job(thread_pid_tlt)
async_do_job(thread_set_servos)

参考链接


以上所述就是小编给大家介绍的《基于 face_recognition 和 PID 的人脸识别和跟踪》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

第一行代码:Android(第2版)

第一行代码:Android(第2版)

郭霖 / 人民邮电出版社 / 2016-12-1 / CNY 79.00

本书被广大Android 开发者誉为“Android 学习第一书”。全书系统全面、循序渐进地介绍了Android软件开发的必备知识、经验和技巧。 第2版基于Android 7.0 对第1 版进行了全面更新,将所有知识点都在最新的Android 系统上进行重新适配,使用 全新的Android Studio 开发工具代替之前的Eclipse,并添加了对Material Design、运行时权限、......一起来看看 《第一行代码:Android(第2版)》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

随机密码生成器
随机密码生成器

多种字符组合密码

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具