在Android上用AI识别物体

PhoenixZheng

发布于 2018-12-19 03:16:17

4.4K00

代码可运行

文章被收录于专栏：Phoenix的Android之旅Phoenix的Android之旅

运行总次数：0

代码可运行

AI其中一个很重要的应用就是物体识别。今天我们来看看如何在Android上实现这个功能。

物体识别

物体识别包括两个方面，一个是物体位置识别，划出图片中的物体在什么位置。另一个是物体识别，告诉你这是个什么物体，是人是狗，是桌子还是鸟。

SSD

目前最优秀的物体识别神经网络能够识别1900多种物体。我们把这个网络落地到Android上看看它的效果怎样。

Android导入AI框架

要在Android上使用AI网络，首先需要集成能够解读AI网络的框架。 Google的Tensorflow在Android上做了专门的框架 - Tensorflow-Lite，它能够在移动端上高性能地运算AI模型。

首先需要在app的build.gradle里引入它

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:1.10.0'
}

在Android使用tensorflow我们可以只关注它的 Interpreter 类，这个类负责加载 AI模型，同时将图片进行运算，输出预算结果。

AI 的输入和输出

拿物体识别模型来说，这个模型能识别1000多种物体，那么它对一张图片的分析结果也会有1000多个输出对不对？

我们先简单地理解这个过程。假设这个模型能识别2种物体，分别是猫和狗，忽略物体的位置的话，那么它的输出结果应该是啥？

仔细想一下，它应该有下面三个输出

background, background_posibillty
cat, cat_posibillity
dog, dog_posibility

翻译一下，这三个输出分别对应

没有猫狗的概率
有猫的概率，猫的位置
有狗的概率，狗的位置

于是我们可以构造下面的输出数据结构

float[][] labelProbArray = new float[3][1]

三个维度分别表示三种物体的概率。注意这里没有猫狗也必须当做一种情况，不然要是图片里没有猫狗的话它就只能在猫狗里挑一个，就乱套了。

至于输入就简单了，把Camera得到的bitmap当作输入就行。

下面看看怎么使用tensorflow的Interpreter。

开始分析图片

首先需要把AI网络塞进 Interpreter。

物体识别网络通常有两个模型来构成，一个是网络，另一个是标签。

网络是用来分析图片并输出结果的，标签是用来描述网络能识别什么内容。因为正常来说，网络只能输出一个一维数组表示每个标签的概率，它并不会输出用文字描述的物体… 细想一下要是真这样的话那就恐怖了…

在我们的app中需要先把这两个东西放进去，下面这两个就是网络和标签了

assets

lite是网络模型，txt是标签。

初始化 Interpreter 的过程比较简单，代码如下

Interpreter tflite = new Interpreter(loadModelFile(activity));

/** Memory-map the model file in Assets. */
private MappedByteBuffer loadModelFile(Activity activity) throws IOException {
  AssetFileDescriptor fileDescriptor = activity.getAssets().openFd(MODEL_PATH);
  FileInputStream inputStream = new FileInputStream(fileDescriptor.getFileDescriptor());
  FileChannel fileChannel = inputStream.getChannel();
  long startOffset = fileDescriptor.getStartOffset();
  long declaredLength = fileDescriptor.getDeclaredLength();
  return fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength);
}