如何通过图像数据判断手势

❶ 手势识别用什么图像特征提取算法

《基于计算机视觉的手势识别研究》中提到了多尺度模型，轮顷它就是采用此模型提取手势的指尖的数量和位中山置，将指尖和掌心连线，采用距离公式计算各指尖到掌心的距离，再采用反余弦公式计算各指尖与掌心连线间的夹角，将距离和夹角作为选择的特征。对于静态手势识别而言，边缘信息是比较常用的特征。中采卖桐中用的HDC提取关键点的识别算法，基于用八方向邻域搜索法提取出手势图像的边缘，把图像的边缘看成一条曲线，然后对曲线进行处理。

❷ 手势输入方式的手势识别

手势识别作为三维输入的实质是识别出用户通过手灶袜粗势运动表隐镇达自己的意图。显然这是一个模式识
别问题,但又不完全相同。目前手势识别的图象分类算法很多,如Martin 采用句法模式识别方法[13 ] ,
Sun 采用模板匹配和查表的方法[14 ] ,Quek 使用贝叶斯分类器,Su 等人采用组合神经网络[15 ] ,Huang 等
人采用Hopfield 神经网络法,Boehm 等人使好唤用SOM 法[16 ] ,Kin 采用模糊神经网络识别手势。从模式识
别的角度来看,不论是使用数据手套,还是摄像机来输入手势,不论手势的表示方法如何,不论采用什么
样的特征提取,都可以采用同样方法来识别手势。本文介绍传统几何学识别法和通过数据手套输入手
势的神经网络识别法。

❸ 手势输入方式的手势识别的原理

手势是指在人的意识支配下,人手作出的各类动作,如手指弯曲、伸展和手在空间的运动等,可以是
收稿日期: 2000 - 05 - 15
基金项目: 行业基金项目(院编96311)
作者简介: 曾芬芳(1940 - ) ,女,湖南益阳人,华东船舶工业学院教授。
执行某项任务,也可以是与人的交流,以表达某种含义或意图。基于手势识别的三维交互输入技术,常
用的有基于数据手套的和基于视觉(如摄象机) 的手势识别。
人手有20 多个关节,其手势十分复杂,在VR(Virtual Reality) 中的交互过程,需分析手势的形成并
识别其含义。如用户以自然方式抓取环境中的物体,同时还可以对用户产生相关的感知反馈,如对具有
力反馈的手套,就能使人感知到抓取的物体的重量,对有触觉反馈的手套,能感知到用户所碰到的物体
的质感,如毛毯有多粗糙等。所以计算机要能对人手运动的灵活、复杂的手势进行识别是一项艰难而又
十分有意义的任务。
手势的分类早在40 年代,心理学家Quek[7 ] . ,Pavlovic[8 ]等人从人机接口的角度对手势进行研究,
按其功能分为:
手的运动
无意识的手运动
有意识的手运动(手势
交流手势
表动作
表符号(手语)
引用手语(如表示数字)
情态手势
执行任务(如抓握锤) 手势不但由骨胳肌肉驱动,而且还受人的信念、意识的驱使,它涉及到人的思维活动的高级行为。
人机交互的研究目的之一是使机器对人类用户更方便,从用户产生手势到系统“感知”手势的过程[9 ]如
图1 所示。
图1 系统“感知”手势的过程
Fig. 1 Process of sensing gesture by the system
手的运动,是手势的表现形式。用户的操作
意图是用户要完成任务的内烂陆容, 即用户心理活
动(概念手势) G ,经过运动控制(变换) ,用手势
运动H 表达。由经感受设备(变换Thi) 将手的
运动H 变换为系统的输入信息I ,所以从G到I
的映射过程为:
Tgh : G → H , 即H > Tgh ( G)
Thi : H → I , 即I > Thi ( H)
Tgi : G → I , 即I > Thi ( Tgh ( G) ) > Tgi ( G)
其中, Tgh 为人体运动控制传送函数; Thi为输入设备传送函数。
手势识别的任务就是从系统输入I 推断、确定用户意图G ,显然是以上映射的逆过程。即
G = T- 1
gi ( I) ( 1 )
H = T- 1
hi ( I) ( 2 )
G = T- 1
gh ( H) ( 3 )
其中, T- 1
gi , T- 1
hi , T- 1
gh 是Tgi , Thi , Tgh 的逆变换。
所以手势识别可以采用H = T- 1
hi ( I) 时输入信息I ,得到手的运动H ,再由G = T- 1
gh ( H) 手势的表
示推断用户手势的概念意图运梁,也可直接从G = T- 1
gi ( I) 求得概念手势G。
手势识别分为静态手势和动态手势的识别,目前的研究大都是在线静态手势识别,如Lee 研究的就
是静态孤立手势[10 ] 。动态手势识别难度大,一般采用关键帧方法,记录每个手势的始和终状态及饥悄顷手势的
运动轨迹,然后用内插算法重建帧,但仍需给予限制,如Davis研究的动态手势识别就规定开始时手必须
朝上等。 手势的语法信息是通过手的构形、手的运动变化来传递。为了
给用户提供必要的视觉反馈信息, 使其在交互过程中看到自己的手
(图2 是用3DSMAX 绘制) ,同时也为了分析交互过程中手和虚拟对
象之间的相互作用关系,必须建立手几何模型和运动学模型。 人手是一个多肢节系统, 由27 块骨骼组成, 可看成由4 个相邻
手指、一个大拇指和手掌组成, 每个手指由指段和关节组成。因此手
是一种由关节相连的结构, 随着关节运动, 手的形状在不断变化。这
种变化可以通过指段和关节的状态空间位置的变化来描述[11 ] 。
每一个手指( Ⅱ - Ⅴ) 具有四个自由度,其中手指的
基部(MP) 有两个自由度,弯曲和旋转,手指的中间关节处(PIP)
和末端关节处(DIP) 分别各有一个自由度,主要是弯曲运动。大拇
指除了与其他四个手指一样具有四个自由度外, 还有一个外展运
动,所以大拇指具有五个自由度(拇指和手掌之间的一节也可不考
虑) 。外加手掌的前后左右运动二个自由度。所以手运动总共具有
23 个自由度,即状态空间为23 维。
从上述的分析可知,除大拇指外每个手指都具有四个自由度,
从而可以建立一条链,以协调手指的机构及运动。整个手可以以手掌为基础链接五个手指( Ⅰ - Ⅴ) ,在
指段MP 上链接指段PIP ,再链接指段DIP ,每条链可以获取四个参数。从而五个手指以手掌为根节点构
成一个树型结构,树中的每一个节点代表一个关节,关节通过指段具有相互关联的运动特性。
212 手势的输入
手势的输入是实现手势交互的前提。它要求能够有效地跟踪手的运动, 又要方便用户手的运动, 既
要求准确确定手的位置、方位、手指弯曲角度,又要求对手的运动限制很少。就目前而言, 手势的输入有
基于数据手套的和基于视觉(摄象机) 等两种方式。
21211 基于数据手套的手势输入
基于数据手套的手势输入[12 ] ,是根据戴在手上的具有位置跟踪器的数据手套利用光纤直接测量手
指弯曲和手的位置来实现手势输入的。本文使用5DT 公司生产的不带位置跟踪器的5th Glove 右手数据
手套,每个手指中间关节有一个传感器用于测量手指的平均屈伸度,在手腕部位还有一个2 轴倾斜传感
器测量手的转动(绕Z 轴旋转) 和倾斜(绕X 轴旋转) 两个角度,以探测手的上下摆动和旋转。该手套共
带有七个传感器,因此同一时刻只能读出七个角度值。5th Glove 还提供命令、报告数据、连续数据、模拟
鼠标等工作方式,可定义一指、二指和三指( Z 轴) 等手势来控制虚拟手的飞行、视点、运动速度等。
5th Glove 数据手套通过串行接口与微机连接在一起,以传送手运动信号,从而控制手动作。它能将
用户手的姿势(手势) 转化为计算机可读的数据, 因而使手去抓取或推动虚拟物体。人手在运动过程中
会碰撞物体,所以在系统中,虚拟手的交互操作除了实现抓取和释放物体等功能外, 还需实现了碰撞的
检测。
21212 基于视觉的手势输入
基于视觉的手势输入是采用摄象机捕获手势图象,再利用计算机视觉技术对捕获的图象进行分析,
提取手势图象特征,从而实现手势的输入。这种方法使用户手的运动受限制较少,同时用户还可以直接
看到手的图象。基于视觉的输入所输入的原始数据是手的图象,采用重建三维模型来构建手势图象,调
节模型参数如手指弯曲角度的夹角等,以合成手的三维图形。根据手生成的图形和已获得的手图象匹
配,所得到的模型参数就构成了手势。1995 年,Lee J intae 和Kunii Tosiyasv l. 研究用立体图像数据自动
分析三维手势[4 ] 。它用摄像机拍摄手的运动图像,使用轮廓提取边界特征进行识别的方法,成功地提
取27 个交互作用手参数,实现了三维手势的重构。其实早在1981 年, Kroeger 采用两个摄象机实现了
一个获取手势的系统,它通过用户的手在与鼠标垫一般大小的“镜象盒”的3D 空间中来完成交互。两
个镜子被放在大约与前平面成45 度角的位置上,两个镜子代替单个镜子产生了一个虚拟视点,加上两
垂直平面上的两个摄象机共三个视点相交成直角,以提供给用户一个确定的工作空间,在这个空间内允
许用户与计算机交互。

❹ pytorch手势识别训练数据比8:2怎么理解

在PyTorch中进行手势识别的训练，8:2是指将所有的训练数据分成两部分，其中80%的数据用于训练模型，另外20%用于验证和测试，也称为验证集和测试集。
这个比例的选择是由实际需求和数据情况来决定的，通常80:20的比例可以在很多情况下达到较好的训练效拦吵尘果，同时也可以在验证集和测试集中测试模型的泛化能力。
比如，如果数据集的样本数量充足，比例可能会更大，如90:10或95:5，以增加模型的训练量和验证集的可靠性。相反地，如果数据很少，比碰培例可能会更小，如70:30，以充分利用有限的数据简禅并减少测试集的误差。
总之，选择训练数据比例的目的是能够充分利用数据训练模型，同时评估模型的泛化能力和可靠性。

❺ 科目一必考的交警手势图，特别容易混淆，教你正确辨别不做错

科目一考题没人能够预估，但是总有几种题目肯定会考到，比如限速、交通手势等，那在这些题目里面还特别容易记混淆，做错题目的比比皆是，那这里面必考的交警手势图一共有八种，很多学员会搞错，本文就教你如何快速记忆每个手势图的特点，然后在考试中就能辨别出正确答案。记住这些交警手势图不单纯的是可以保证自己考核通过，在之后开车中，也是需要掌握的一个知识。一起来看看吧!
1.直行手势信号
手势含义:直行手势代表右侧车辆可以直行通过。
动作分解:交警双臂平行于地面，左臂向左平伸，手掌垂直于地面;右臂沿着水平线向左边移动。动作比较像合起书本的操作。
混淆记忆区分:直行手势比较好记忆不容易混淆，只需要记住双臂平行于地面，右臂水平摆动就能够一眼认出来。
2.停车手势信号
手势含义:停车手势代表车辆停止前行。
动作分解:交警左手臂抬起，手臂高度高于平行水平线，与身体夹角在120度左右，掌心向前。右臂垂直于身体，没有动作。
混淆记忆区分:停车手势信号比较容易和靠边停车搞混淆。那靠边停车其实是双手动作。在停车手势信号这里交警是单手完成信号手势的操作，那就很容易和靠边停车手势区分开。
3.靠边停车手势信号
手势含义:靠边停车手势代表车辆靠向路边停车，用于检查、避让等情况。
动作分解:交警左臂伸直，抬起高于水平线的高度，与身体夹角在120度左右;右臂向前下方伸直，向左摆动。两臂夹角在90度。
混淆记忆区分:靠边停车的左臂和停车手势一样，那右臂摆动，这里好区分;那有学员容易把靠边停车手势和右转弯手势搞混淆。这里要记住靠边停车的右手是高于水平面，与身体夹角在120度，两臂夹角呈90度。而右转弯的左臂是平行于地面。
4.左转弯手势信号
手势含义:车辆看到这个手势后，位于左转弯的车辆进行转弯。
动作分解:交警右臂向前，平行于地面;左臂向右前方摆动，摆动角度在0-45度腊举下摆动。
混淆记忆区分:左转弯手势容易和右转弯手势混淆，那这里记忆的点就是，左转弯手势是左臂摆动;而右转弯手势是右边摆动。就能很好的进行区分。
5.右转弯手势信号
手势含义:车辆看到这个手势后，位于右转弯的车辆进行转弯。
动作分解:交警左臂向前，平行于地面;右臂向左前方摆动，摆动角度在0-45度下摆动。
混淆记忆区分:那右转弯手势和右转弯手势是看哪边手摆动进行区分。和靠边停车手势的区分是看左臂的高度以及两臂的夹角。
6.左转弯待转手势信号
手势含义:车辆看到这个手势后，位于左转弯的车辆进入左转弯待转区域。
动作分解:交警左臂向侧方伸出，掌心朝下，与身体呈45度，向下进行摆动。右臂没有动作。
混淆记忆区分:左转弯待转手势和停车手势都是左手，但是区别左转弯是在身体左侧完成，并且高度不一样。
7.减速慢行手势信号
手势含义:车辆看到这个手势后，要减速通过路口。
动作分解:交警右臂向右前方平行伸出，掌心朝下，向下进行摆动，与身体角度从90度向45度变化。左臂没有动作。
混淆记忆区分:减速慢行手势和左转弯待转手势的区别在于左右手不同，另外就是开始的手臂高度不同。那这里要特别注意是没有右转弯待转手势，如果答案里面有这个选项，首先剔除。
8.变道手势信号
手势含义:车辆看到这个手势后，进行车道更换，实线的情况下，也需要更换。
动作分解:交警右臂，掌心朝下，沿着水平线向左摆动，有点像直线的右手动作，但是幅度比较小。左臂垂下。
混淆记忆区分:变道手势和我们的燃升直行手势一起记忆，记住手臂水平线摆动，幅度比较小，就没有问题。
那这样整体看下来以后，就会发现脑袋好像又懵了，这个时候就要结合轮段碧图片中的手势和每个手势的特点以及容易搞混淆的手势区分的地方进行比对，达到快速记忆的办法，在考试中遇到的时候，先PASS掉不可能的答案，然后对于另外的答案进行手势特点的比对，就能正确完成。

❻ 如何给手势识别控制智能车加摄像头

给手势识别控制智能车加摄像头需要以下步骤：

1. 选择合适的绝迟备摄并毁像头：根据自己的需求和预算，选择一款适合的摄像头。可以考虑使用USB接口或者WiFi连接的网络摄像头。

2. 连接到智能车上：将选好的摄像头连接到智能车上。如果是USB接口，可以通过OTG线连接；如果是WiFi连接，则需要在智能车中添加一个无线网卡，并与网络摄像头进行配对。

3. 安装驱动程序：安装相应的驱动程序和软件，以便于电脑或者手机等设备可以识别并操作这个新加入的设备。

4. 编写代码实现手势识别控制功能：利用编程语言（如Python、C++等）编写代码，在原有基础上增加手势识别控制功能。具体实现方式包括调用OpenCV库进行图形处理、使用机器学习算法训练模型来实现手势分类等。

5. 测试和优化：完成以上步骤后，进行测试并不断优化代码，确保系统稳定性和用户体验。

总之，在给手势识别控制智能车加入摄像头时需要注意硬件兼容性、软件驱动支持以及编程技术等方面问题，并且要经过多次测试才可达到理想效果。旦弊