目前，越來越多的AI場景將AI能力直接部署在移動端，其優(yōu)勢主要在于實(shí)時(shí)、省流、以及安全性等方面。這些AI能力給移動端產(chǎn)品帶來巨大的想象空間，促進(jìn)了移動互聯(lián)網(wǎng)下半場的繁榮。

在移動端智能化的背后，離不開移動開發(fā)者以及人工智能應(yīng)用算法工程師。在實(shí)際業(yè)務(wù)開發(fā)中，算法工程師開發(fā)出來的AI算法，最終都要交付給移動開發(fā)者進(jìn)行工程落地。這個(gè)落地的鏈條其實(shí)難度相當(dāng)大，總結(jié)來說涉及以下兩方面：

-一款沒有任何AI實(shí)踐的產(chǎn)品，不僅要進(jìn)行模型的訓(xùn)練、預(yù)測引擎的集成，還需要根據(jù)不同模型進(jìn)行數(shù)據(jù)的前后處理，圖像的各種顏色空間、存儲格式的轉(zhuǎn)換，過程中可能會使用到Python、C/C++、iOS、Android等多種語言，接入門檻高。

-同時(shí)，接入AI能力的過程非常復(fù)雜，涉及引擎調(diào)用相關(guān)開發(fā)、前后處理相關(guān)開發(fā)、甚至并發(fā)相關(guān)處理，考慮到移植和復(fù)用情況，更需要兼容多種業(yè)務(wù)場景、進(jìn)行模塊化拆分，導(dǎo)致工作量成倍增加。

如果您也面臨以上問題，那么LiteKit將是您最好的選擇!話不多說，我們先看效果!

　視頻超分

(高清原視頻截圖) (低清超分后視頻截圖)

這個(gè)圖片來自百度百家號推出壯美極境公益項(xiàng)目的視頻。左邊的圖片為480p原始視頻截圖，右邊的圖片為360p視頻通過超分能力重建的480p視頻截圖。通過左右視頻截圖對比，可以看到超分后的視頻(右側(cè))在手機(jī)上可以達(dá)到與原始視頻(左側(cè))幾乎一致的視覺體驗(yàn)。

(超分前) (超分后)

左圖是360p原始視頻的單幀畫面，右邊將360p視頻超分到480p的畫面，對比來看畫面放大后，畫面不僅沒有損失清晰度，而且變得更清楚。

所謂視頻超分，通俗來說，就是將低像素的視頻轉(zhuǎn)成高像素，而且視頻還能變得更清楚!

而對于手機(jī)場景來說，視頻超分本身最重要的不僅僅是追求極致的超分效果，而是速度和效果的均衡。手機(jī)視頻超分主要目標(biāo)是在手機(jī)端上達(dá)到25FPS(手機(jī)端的視頻通常是25FPS，通常來說24FPS+視覺上才不會感覺到卡頓)的前提下，對畫面進(jìn)行優(yōu)化重建。

LiteKit提供的視頻超分是業(yè)內(nèi)首次開放的能夠達(dá)到25FPS的視頻超分解決方案。在手機(jī)移動應(yīng)用項(xiàng)目中最常見的是360p視頻。LiteKit支持從360p到480p場景下進(jìn)行25FPS的超分。除此以外，LiteKit的視頻超分能夠?qū)Σシ牌鹘獯a后的YUV420視頻幀數(shù)據(jù)直接進(jìn)行處理，并獲得相同格式的輸出數(shù)據(jù)，消除了將視頻幀數(shù)據(jù)進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換的過程，大大方便了用戶的使用，并降低使用耗時(shí)。

　性能優(yōu)化

LiteKit的視頻超分能力模型，經(jīng)過反復(fù)的性能調(diào)優(yōu)，可以支持360p->480p的超分場景下播放器25FPS的持續(xù)超分。

從上面的測試結(jié)果可以看到，在18年iPhoneXsMax上，視頻超分也能夠達(dá)到32.15ms的預(yù)測速度，支持播放器25FPS的超分。在最新的iPhone12上，相比iPhoneXsMax，預(yù)測速度進(jìn)一步提升30%。

手勢識別

這是LiteKit提供的手勢識別AI能力。它可以準(zhǔn)確的檢測手勢所在位置的矩形坐標(biāo)、手勢類型和置信度，支持識別六種類型的手勢，包括手、五指手勢、V手勢、握拳、1手勢、OK手勢。

人像分割

(人像分割前)(人像分割后)

這是LiteKit提供的人像分割A(yù)I能力，能夠提供實(shí)時(shí)的人像分割，準(zhǔn)確地分割人像和背景，可用于去除背景、人像摳圖、照片合成、背景替換等業(yè)務(wù)之中。

　快速體驗(yàn)

以上就是LiteKit目前開放出來的AI能力，這些AI能力可以直接點(diǎn)擊以下鏈接快速安裝Android Demo體驗(yàn)(只需一部安卓手機(jī)即可)：

https://github.com/PaddlePaddle/LiteKit/releases/download/0.0.10/MMLKitDemo_0.0.10.apk

　可以一秒接入的AI能力

對于APP開發(fā)者來說，是不是很想知道這些能力能否接入到自己的移動應(yīng)用之中呢?

答案當(dāng)然是肯定的!不僅能接入，而且可以說是一秒就能接入你的APP工程!

LiteKit提供視頻超分、人像分割、手勢識別一系列AI能力，這些AI能力均來自于百度各個(gè)業(yè)務(wù)線AI場景多年的技術(shù)沉淀，并以SDK的形式提供，做到了開箱即用。

即使是沒有任何AI實(shí)踐的APP開發(fā)者，只需通過調(diào)用兩三個(gè)簡單API連接LiteKit提供的SDK軟件包，就可以順利接入AI能力。就像拆開快遞箱一樣簡單，打開箱子就可以直接用。

你可以把SDK想象成一個(gè)虛擬的程序包，在這個(gè)程序包中有一份做好的軟件功能，這份程序包幾乎是全封閉的，只有一個(gè)小小接口可以連通外界，而這個(gè)接口就是API。

　如何接入

LiteKit的接入只需要創(chuàng)建、推理、釋放三步即可完成AI能力的開發(fā)。雖然對于視頻超分、人像分割、手勢識別，甚至包括未來將要開源的新AI能力，輸入輸出會各有不同，但是整體流程和API的樣式都被抽象成類似的步驟，甚至API的命名都會保持高度一致，讓學(xué)習(xí)成本降到最低。下面的代碼就是視頻超分能力的接入過程：

(內(nèi)容持續(xù)更新中，最新內(nèi)容可以訪問此鏈接獲取。https://github.com/PaddlePaddle/LiteKit)

　LiteKit的設(shè)計(jì)

LiteKit把接入過程整體抽象為：創(chuàng)建、推理、釋放三步：

-創(chuàng)建后，可以反復(fù)使用執(zhí)行推理

-推理的過程整體只有一類API：對輸入數(shù)據(jù)(input)執(zhí)行推理，同步返回輸出數(shù)據(jù)(output)。圖中和模型直接相關(guān)的前后處理的流程，都被封裝在了AI能力推理接口內(nèi)部，用戶既不需要關(guān)心，也不需要任何處理。為了方便不同業(yè)務(wù)不同的輸入，每個(gè)能力的推理接口可能有幾個(gè)，這幾個(gè)接口能力完全相同，唯一不同的只是輸入和輸出類型，用戶通常只需要根據(jù)自己的輸入輸出類型關(guān)心最便捷使用的一個(gè)即可。

-釋放與創(chuàng)建一一對應(yīng)，當(dāng)AI業(yè)務(wù)退出的時(shí)候，執(zhí)行即可。

關(guān)于輸入數(shù)據(jù)的獲取和輸出數(shù)據(jù)的使用，在真實(shí)的業(yè)務(wù)落地中，是需要開發(fā)者進(jìn)行考慮的問題。例如在推理前，需要拿到相機(jī)幀，考慮到手機(jī)的自動旋轉(zhuǎn)及前后鏡頭的問題，需要開發(fā)者對圖像進(jìn)行旋轉(zhuǎn)。在獲得推理結(jié)果后，需要開發(fā)者把推理的結(jié)果用適當(dāng)?shù)姆桨高M(jìn)行渲染。

LiteKit的架構(gòu)

LiteKit從下至上主要分為三層：

1.最底層的Paddle Lite：是百度飛槳深度學(xué)習(xí)平臺提供的開源推理引擎，能夠提供CPU、GPU等多種環(huán)境下進(jìn)行推理。

2. 中間的LiteKitCore框架層：隔離了業(yè)務(wù)方對Paddle Lite的直接依賴，并向上層提供基本一致的OC、Java、C++ API，提供了基礎(chǔ)結(jié)構(gòu)和數(shù)據(jù)類型的定義，并提供通用的工具集。

3. LiteKit業(yè)務(wù)層：根據(jù)各自不同的業(yè)務(wù)，封裝了人像分割、視頻超分、手勢識別等能力。LiteKit的能力將會不斷的擴(kuò)充。

LiteKit的人像分割、視頻超分、手勢識別三大能力， 底層統(tǒng)一依賴LiteKitCore。目前LiteKitCore也同步進(jìn)行了開源。LiteKitCore作為移動端AI能力部署工具，其職責(zé)主要是向下接管推理引擎，并向上提供統(tǒng)一的AI推理能力。

-移動端的AI開發(fā)者接入了LiteKitCore之后，不必再關(guān)心推理引擎的配置、模型的加載等復(fù)雜操作，LiteKit內(nèi)部管理了推理引擎大部分復(fù)雜的配置，同時(shí)仍然支持使用者靈活的配置一些入模型地址等的關(guān)鍵參數(shù)。

-LiteKitCore向上對AI能力的開發(fā)者，提供了Java/ObjectiveC/C++三套接口，能大大降低端AI開發(fā)者的開發(fā)成本。

下面以C++接口接入CPU AI推理能力為例，簡單示范一下接入的流程:

-使用LiteKitCore創(chuàng)建AI推理引擎管理實(shí)例，不再需要關(guān)心模型的結(jié)構(gòu)，推理引擎的使用方式，只需要通過LiteKitCore進(jìn)行簡單的配置。

-使用AI推理能力的時(shí)候也不需要關(guān)心推理引擎具體如何調(diào)用，LiteKitCore提供方便使用的C++/Java/ObjectiveC API。

在開發(fā)不同業(yè)務(wù)的過程中，上層的業(yè)務(wù)配置根據(jù)不同業(yè)務(wù)場景設(shè)置，底層LiteKitCore部分代碼完全可以復(fù)用和移植，極大的降低了AI能力開發(fā)的工作量。

　展望

LiteKit作為飛槳的移動端部署工具，能夠快速的部署基于百度深度學(xué)習(xí)框架飛槳的輕量化推理引擎Paddle Lite的AI能力。能夠讓AI能力在任何APP中、任何場景下快速的工程化落地，可以讓同學(xué)們簡單的實(shí)現(xiàn)自己的AI特效。

LiteKit在不久的將來還會開放OCR等更多的能力，支持更多的業(yè)務(wù)場景。大家對LiteKit即將開放的能力，還有什么期待呢，如果有的話，就請點(diǎn)以下鏈接，填寫您對AI能力的需求吧：https://iwenjuan.baidu.com/?code=ap8fxl

相關(guān)鏈接

想進(jìn)一步了解LiteKit的小伙伴，可以上Github點(diǎn)star并查看完整文檔及Demo

LiteKit GitHub地址：https://github.com/PaddlePaddle/LiteKit

　更多參考：

如果您想詳細(xì)了解更多關(guān)于端側(cè)AI部署的相關(guān)內(nèi)容，可以多多關(guān)注飛槳Paddle Lite。Paddle Lite支持包括手機(jī)移動端和嵌入式端在內(nèi)的端側(cè)場景，支持廣泛的硬件和平臺，是一個(gè)高性能、輕量級的深度學(xué)習(xí)推理引擎。除了和飛槳核心框架無縫對接外，也兼容支持其他訓(xùn)練框架如TensorFlow、Caffe保存的模型(通過X2Paddle工具即可將其他格式的模型轉(zhuǎn)換成飛槳模型)。

Paddle Lite GitHub地址: https://github.com/PaddlePaddle/Paddle-Lite

免責(zé)聲明：市場有風(fēng)險(xiǎn)，選擇需謹(jǐn)慎！此文僅供參考，不作買賣依據(jù)。