图像识别方法、装置及电子设备

单向LSTM只能访问之前记忆的信息，往往忽略了未来的上下文信息，而对于很多序列标注任务来说，没有未来的上下文信息，有可能无法判断该位置的具体信息，尤其是燃气表识别这种场景，如果没有具体位置左右信息一起判决，很有可能出现很多误识别。双向循环神经网络(bidirectional LSTM)的基本思想是提出每一个训练序列向前和向后分别是两个循环神经网络(LSTM)，而且这两个都连接着一个输出层。这个结构提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息。如图2E所示，是一种双向循环神经网络的结构，该图中展示的是一个沿着时间展开的双向循环神经网络。六个独特的权值在每一个时步被重复的利用，六个权值分别对应：输入到向前和向后隐含层(w1，w3)，隐含层到隐含层自己(w2，w5)，向前和向后隐含层到输出层(w4，w6)。向前和向后隐含层之间没有信息流，这保证了展开图是非循环的。bidirectional LSTM的输出结果由Forwardlayer和Backward Layer共同组成，因此时刻t网络的输出(Output Layer)大小为hiddenN*2，其中hiddenN为LSTM细胞的个数，即隐含层的的个数，bidirectional lstm中的每个细胞均可以采用添加peephole的LSTM。

Deep(深层次)bidirectional LSTM则是多层bidirectional LSTM级联，采用深层次的网络结构可以学习到深层次的语义特征。本说明书实施例中，可以采用2层bidirectional LSTM，其中Forward LSTM和Backward LSTM中的细胞数目可以为100。通过Deep bidirectional LSTM，输入图像特征提取后所得到的25个时序的512维特征可以编码成25个时序2*100维数据，通过训练，这些编码后的特征则具备了一定的区分和识别能力。实际应用中，bidirectional LSTM的细胞个数和层数都可以根据需要而灵活配置，本说明书实施例对此不作限定。

对于各个子块的特征，RNN模型中，可以采用CTC进行最终的目标识别。ctc是序列标志的一个重要算法，它主要解决了label对齐的问题。Deepbidirectional lstm withpeephole编码得到25个时序2*100维数据，可以通过线性变换进行分类，转换到label空间，其公式:

label_outtimeSquenceN×labelN＝bdlstm_outputtimeSquenceN×bdlstmFeatureN×WbdlstmFeatureN×labelN+BtimeSquenceN×labelN

本实施例中，timeSquenceN＝25，bdlstmFeatureN＝2*100，labelN＝11(数字0～9和空格)，W和B是训练得到的权重和偏移矩阵。线性变换得到timeSquenceN个label(标签，即前述的图像中所包含的目标)，由于timeSquenceN在图片宽度确定之后就是一个固定数值，但是图片对应的实际label长度每张图都可能不一样的。ctc通过引入blank(空格)来解决label的对齐问题，规则是先去重再去blank，例如timeSquenceN＝8，labelN＝11，那么按照规则label_outtimeSquenceN×labelN的输出假设为:11--22-3，通过对齐规则(合并相同字符，删除空格)得到输出结果123，长度为3。blank对应的位置从物理上可理解成非目标区域，可以跨越，可看成数字之间的间隔，而去重的位置物理上可理解成目标区域左右偏移几个距离(时序)依然是该目标，因此可以去掉重复。

本说明书实施例中图像识别方案的本质是将图像从左到右的识别顺序作为时序空间中的时间顺序进行识别，所面临的问题是不同长宽比的图片被压缩到同样大小的时序表现会千差万别，因此需要巨量的样本图像表征出这些差别，只有这样整个网络才能学习到这种复杂场景下的识别能力图像识别 方法。若初期无法收集到足够的真实图像作为样本，本说明书实施例提供了一种获取样本图像的方式：准备不同时序表现(即图像高宽比不一致、数字出现位置确定、图像背景如表盘等不一致等等)的真实图像，同时确定常用的燃气表字体、颜色或字号等。技术人员可以采用抠图等方式去除真实图像中的燃气表数字，并记录去除位置。在该去除数字的位置附近随机产生不同颜色、字体或大小的数字进行合成。合成后燃气表图像和真实图像可能有一定差距，因此可以在该合成后图像上添加噪声。实际应用中，还可以利用合成图像训练出图像基础模型，然后在这个基础模型上用真实图像进行融合和添加噪声等处理，从而生成大量的样本图像图像识别 方法。

与前述图像识别方法的实施例相对应，本说明书还提供了图像识别装置及其所应用的终端的实施例。

本说明书图像识别装置的实施例可以应用在电子设备上，例如服务器或终端设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本说明书图像识别装置所在电子设备的一种硬件，除了图3所示的处理器310、内存330、网络接口320、以及非易失性存储器340之外，实施例中装置331所在的服务器或终端设备，通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

如图4所示，图4是本说明书根据一示例性实施例示出的一种图像识别装置的框图，所述装置包括：

图像获取模块41，用于：获取待识别的输入图像；

特征提取模块42，用于：确定所述输入图像所包含的N个子块，提取所述子块对应的图像特征值，所述图像特征值描述所述子块所具有的像素信息，N≥1；

识别模块43，用于：将所述N个子块及对应的图像特征值作为输入，利用识别模型确定所述N个子块所对应的目标；其中，所述识别模型针对第i个子块，结合所述输入图像中排列在该第i个子块之前和之后的若干个子块的图像特征值，确定该第i个子块对应的目标；所述识别模型预先利用样本图像包含的目标、以及样本图像的多个子块的图像特征值而训练得到，1≤i≤N；

目标确定模块44，用于：根据所述N个子块所对应的目标，确定所述输入图像中所包含的目标。

可选的，所述特征提取模块，还用于：

将所述输入图像平均划分为所述N个子块。

可选的，所述提取所述子块对应的图像特征值，包括：

利用卷积神经网络模型提取所述图像特征值，所述卷积神经网络模型预先利用样本图像训练得到。

课时达标训练(四)通过神经系统的调节(二)1．解析：选c兴奋在神经纤维上以局部电流的形式双向传导，需要消耗atp释放的能量。解：(1)组合问题，因为集合中取出元素具有“无序性”．(2)组合问题，由于加法运算满换律，所以选出的两个元素做加法时，与两个元素的位置无关．(3)排列问题，两个元素做除法时，谁作除数，谁作被除数不一样，此时与位置有关．(4)第一问是组合问题，第二问是排列问题，“入座”问题同“排队”，与顺序有关．(5)组合问题，由于4本数学书是相同的，不同的分配方法取决于从5个学生中选择哪4个人，这和顺序无关．(6)排列问题，因为5种工作是不同的，一种分工方法就是从5种不同的工作中选出4种，按一定的顺序分配给4个人，它与顺序有关．有关组合数的计算与证明 [例2]求值：(1)c－ca。[思路点拨]判断是否为排列问题的关键是选出的元素在被安排时，是否与顺序有关。

可选的，所述目标包括字符或空格；

所述根据所述N个子块所对应的目标，确定所述输入图像中所包含的目标，包括：

将相邻的若干个相同的字符合并为一个字符，和/或删除所述空格后，确定所述输入图像中所包含的字符。

可选的，所述样本图像通过如下方式获得：

获取包含有至少一个目标的真实图像，去除所述真实图像中的至少一个目标，在去除位置合成模拟目标后添加噪声，获得样本图像。

可选的，所述生成模拟目标，包括：

根据不同颜色、字体或字号，生成所述模拟目标。

相应的，本说明书还提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

获取待识别的输入图像；

3.根据权利要求i或2所述的图像识别装置，其特征在于， 所述图像识别装置具备对象区域图像提取部，该对象区域图像提取部从所述对象图像中提取对象区域而作为对象区域图像， 所述块图像生成部将所述对象区域图像分割成多个块而生成多个所述块图像。具体实现：采样点数目为8个，即lbp特征值有28种，共256个值，正好对应灰度图像的0-255，因此原始的lbp特征图像是一幅正常的灰度图像，而等价模式lbp特征，根据0-1跳变次数，将这256个lbp特征值分为了59类，从跳变次数上划分：跳变0次—2个，跳变1次—0个，跳变2次—56个，跳变3次—0个，跳变4次—140个，跳变5次—0个，跳变6次—56个，跳变7次—0个，跳变8次—2个。一般的，对于包含有大量非规则形状和高度突变的场景，比较适合提取点状特征，因为提取线段、区域等特征既困难又会引入误差：对于具有规则结构的场景，若线段和区域特征的提取和描述比较容易且误差较小，应提取线段特征以实现快速匹配。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-101749-1.html