6月10日電 從學(xué)界到工業(yè)界，“開(kāi)源”已經(jīng)成為AI領(lǐng)域的一個(gè)關(guān)鍵詞。一方面，它以“授人以漁”的方式為AI構建了一個(gè)開(kāi)放共進(jìn)的生態(tài)環(huán)境，幫助行業(yè)加速AI應用落地；另一方面，在解決行業(yè)實(shí)際問(wèn)題時(shí)持續更新和迭代，源源不斷地給AI領(lǐng)域輸送重要的技術(shù)養料和創(chuàng )造力，可以說(shuō)開(kāi)源是AI落地和繁榮不可或缺的源動(dòng)力。
6月10日，騰訊優(yōu)圖實(shí)驗室宣布正式開(kāi)源新一代移動(dòng)端深度學(xué)習推理框架TNN，通過(guò)底層技術(shù)優(yōu)化實(shí)現在多個(gè)不同平臺的輕量部署落地，性能優(yōu)異、簡(jiǎn)單易用?；赥NN，開(kāi)發(fā)者能夠輕松將深度學(xué)習算法移植到手機端高效的執行，開(kāi)發(fā)出人工智能 APP，真正將 AI 帶到指尖。
輕量級部署，TNN助力深度學(xué)習提速增效
深度學(xué)習對算力的巨大需求一直制約著(zhù)其更廣泛的落地，尤其是在移動(dòng)端，由于手機處理器性能弱、算力無(wú)法多機拓展、運算耗時(shí)長(cháng)等因素常常導致發(fā)熱和高功耗，直接影響到app等應用的用戶(hù)體驗。騰訊優(yōu)圖基于自身在深度學(xué)習方面的技術(shù)積累，并借鑒業(yè)內主流框架優(yōu)點(diǎn)，推出了針對手機端的高性能、輕量級移動(dòng)端推理框架TNN。
TNN在設計之初便將移動(dòng)端高性能融入核心理念，對2017年開(kāi)源的ncnn框架進(jìn)行了重構升級。通過(guò)GPU深度調優(yōu)、ARM SIMD深入匯編指令調優(yōu)、低精度計算等技術(shù)手段，在性能上取得了進(jìn)一步提升。
低精度計算的運用對TNN的性能提升發(fā)揮了重要作用。在神經(jīng)網(wǎng)絡(luò )計算中，浮點(diǎn)精度在許多研究和業(yè)務(wù)落地成果上都被證明存在一定冗余，而在計算、內存資源都極為緊張的移動(dòng)端，消除這部分冗余極為必要。TNN引入了INT8、 FP16、 BFP16等多種計算低精度的支持，相比大部分僅提供INT8支持的框架，不僅能靈活適配不同場(chǎng)景，還讓計算性能大大提升。TNN通過(guò)采用8bit整數代替float進(jìn)行計算和存儲，模型尺寸和內存消耗均減少至1/4，在計算性能上提升50%以上。同時(shí)引入arm平臺BFP16的支持，相比浮點(diǎn)模型，BFP16使模型尺寸、內存消耗減少50%，在中低端機上的性能也提升約20%。驍龍615平臺實(shí)測：通用、輕便是TNN框架的另一大亮點(diǎn)。長(cháng)久以來(lái)，不同框架間的模型轉換都是AI項目應用落地的痛點(diǎn)。TNN設計了與平臺無(wú)關(guān)的模型表示，為開(kāi)發(fā)人員提供統一的模型描述文件和調用接口，支持主流安卓、iOS等操作系統，適配CPU、 GPU、NPU硬件平臺。企業(yè)一套流程就能部署到位，簡(jiǎn)單易用、省時(shí)省力。同時(shí)， TNN通過(guò)ONNX可支持TensorFlow, PyTorch, MXNet, Caffe等多種訓練框架，目前支持ONNX算子超過(guò)80個(gè)，覆蓋主流CNN網(wǎng)絡(luò )。TNN所有算子均為源碼直接實(shí)現，不依賴(lài)任何第三方，接口易用，切換平臺僅需修改調用參數即可。
開(kāi)源文化興起，AI底層技術(shù)助推產(chǎn)業(yè)發(fā)展
事實(shí)上，作為騰訊旗下頂級AI實(shí)驗室，騰訊優(yōu)圖長(cháng)期致力于A(yíng)I基礎設施的研發(fā)和推進(jìn)。此前，騰訊優(yōu)圖已開(kāi)發(fā)了Rapidnet 前向計算框架、RapidAIoT 邊緣計算框架，實(shí)現了業(yè)界首個(gè)專(zhuān)注移動(dòng)端的推斷框架ncnn的開(kāi)源，并在業(yè)界受到廣泛推崇。從2017年開(kāi)源至今，ncnn在GitHub上star(8.9k)和 fork(2.3k)數均領(lǐng)先于其它各大推理框架。
據悉，TNN已于3月中旬在騰訊內部開(kāi)源，為騰訊QQ、QQ空間、騰訊微視、騰訊云、天天P圖等多款產(chǎn)品和服務(wù)中持續提供技術(shù)能力，釋放出更多效能。
“TNN已在GitHub上開(kāi)源，歡迎業(yè)界人士參與協(xié)同共建，共同打造更優(yōu)的移動(dòng)端推理框架?！膀v訊優(yōu)圖實(shí)驗室副總經(jīng)理吳永堅介紹，騰訊優(yōu)圖后續將在現有CV業(yè)務(wù)的基礎上研發(fā)更多的AI推理模型，如語(yǔ)音、NLP等相關(guān)業(yè)務(wù)，同時(shí)開(kāi)展針對CPU、GPU服務(wù)器端的服務(wù)，為業(yè)界公司提供更廣泛的優(yōu)化服務(wù)。 “作為產(chǎn)業(yè)發(fā)展的高速公路，以深度學(xué)習框架、組件為代表的AI基礎設施將是未來(lái)的主流趨勢，騰訊優(yōu)圖也將以此為著(zhù)力點(diǎn)，助推產(chǎn)業(yè)發(fā)展?！眳怯缊员硎?，騰訊優(yōu)圖還將持續開(kāi)發(fā)模型訓練組件、模型壓縮組件、基礎算法組件，并擇機開(kāi)源，希望從框架到平臺、到算法，打造一體化的AI基礎設施，降低AI門(mén)檻，加速產(chǎn)業(yè)發(fā)展。
隨著(zhù)以開(kāi)源為代表的新代碼文化的興起，騰訊近年來(lái)在開(kāi)源領(lǐng)域表現亮眼：在全球最大的代碼托管平臺GitHub上，騰訊發(fā)布的開(kāi)源項目已經(jīng)超過(guò)一百個(gè)，涵蓋云原生、大數據、AI、云計算、安全、硬件等多個(gè)熱門(mén)的技術(shù)方向。
通過(guò)開(kāi)源協(xié)同，騰訊將各個(gè)事業(yè)群最底層和共性的技術(shù)能力進(jìn)行梳理和拉通，在業(yè)務(wù)實(shí)踐和海量用戶(hù)檢驗下，優(yōu)質(zhì)的內部開(kāi)源項目不僅在公司層面推廣復用，同時(shí)也對外貢獻整個(gè)開(kāi)源社區。僅在Github上，騰訊的開(kāi)源項目就收獲了30w+star數，躋身國際上有影響力的開(kāi)源企業(yè)之一。
在開(kāi)源的道路上，騰訊不僅將內部?jì)?yōu)質(zhì)項目持續對外開(kāi)放，也積極與開(kāi)源社區協(xié)同合作，發(fā)揮中國企業(yè)的科技力量，推動(dòng)開(kāi)源和開(kāi)放進(jìn)一步升級。
開(kāi)源地址：https:///Tencent/TNN 【編輯:于曉】
財政部等三部委：服貿會(huì )展期內銷(xiāo)售的這些進(jìn)口展品免征關(guān)稅
國家煙草專(zhuān)賣(mài)局原局長(cháng)凌成興被提起公訴
黑龍江森林草原防火工作全面進(jìn)入“臨戰”狀態(tài)
中國哈爾濱大眾速滑賽開(kāi)賽 500余名速滑愛(ài)好者競技
吉爾吉斯斯坦部分行業(yè)復工復產(chǎn) 再獲IMF緊急抗疫貸款
徐夢(mèng)桃?jiàn)Z得世界杯盧卡站自由式滑雪女子空中技巧冠軍
中國發(fā)展高層論壇2023年年會(huì )開(kāi)幕 丁薛祥宣讀習近平主席賀信并發(fā)表主旨演講