智東西（公眾號(hào)：zhidxcom）
作者 | ZeR0
編輯 | 漠影

智東西5月10日?qǐng)?bào)道，近期，一個(gè)規(guī)?；疉I模型生產(chǎn)平臺(tái)在Github悄然上線。

這個(gè)平臺(tái)叫AI SUITE – YMIR（中文名：挖米匠），能以無代碼開發(fā)方式，實(shí)現(xiàn)數(shù)據(jù)管理、數(shù)據(jù)挖掘、模型訓(xùn)練、模型驗(yàn)證等功能。

由于各功能均已開源，你既可以用這個(gè)平臺(tái)高效訓(xùn)練出AI模型，也可以按需任意修改代碼，并且無論是個(gè)人使用或商用，都完全免費(fèi)！

其核心發(fā)起人陣容亦相當(dāng)吸睛，有多位知名國際AI大牛，包括：云天勵(lì)飛首席科學(xué)家王孝宇；美國硅谷NEC實(shí)驗(yàn)室媒體分析部主管、UCSD教授，印裔科學(xué)家Manmohan Chandraker；前谷歌、亞馬遜、Snap機(jī)器學(xué)習(xí)研究員，硅谷初創(chuàng)公司Heali聯(lián)合創(chuàng)始人、首席AI官，法裔科學(xué)家William Brendel等等。

▲云天勵(lì)飛首席科學(xué)家王孝宇（圖左），印裔科學(xué)家Manmohan Chandraker（圖中），法裔科學(xué)家William Brendel（圖右）

王孝宇告訴智東西，有多家美國科技巨頭公司的首席AI官擔(dān)任這個(gè)開源項(xiàng)目的顧問。

此前，YMIR主要發(fā)起人撰寫的論文《YMIR: A Rapid Data-centric Development Platform for Vision Applications》已被國際頂級(jí)機(jī)器學(xué)習(xí)會(huì)議NIPS 2021收錄。

▲YMIR論文

除了大牛云集外，在上手試用YMIR平臺(tái)后，智東西的感受是，對(duì)于有一定編程基礎(chǔ)的開發(fā)者而言，這個(gè)平臺(tái)絕對(duì)會(huì)帶來生產(chǎn)力的飛躍。

曾經(jīng)TensorFlow、PyTorch等開源框架，掀起了AI開發(fā)普及的盛世，那么如今這些國際AI大牛發(fā)起的開源AI基礎(chǔ)軟件平臺(tái)，又能帶來哪些改變？

相比此前已有的AI模型開發(fā)平臺(tái)，YMIR有哪些獨(dú)特優(yōu)勢？它通過怎樣的核心技術(shù)，來滿足在真實(shí)業(yè)務(wù)場景中大批量生產(chǎn)模型的需求？

帶著問題，智東西聯(lián)系到了YMIR平臺(tái)的幾位發(fā)起人和核心研發(fā)成員，挖掘其背后的技術(shù)真經(jīng)。

YMIR項(xiàng)目鏈接：http://www.viesc.com/
Github傳送門：https://github.com/IndustryEssentials/ymir
YMIR論文鏈接：https://arxiv.org/pdf/2111.10046.pdf

一、免費(fèi)的產(chǎn)品級(jí)開源工具：降低企業(yè)AI開發(fā)門檻

為什么國際AI科學(xué)家們，要聯(lián)合發(fā)起這樣一個(gè)開源AI模型生產(chǎn)平臺(tái)？

云天勵(lì)飛首席科學(xué)家王孝宇是YMIR平臺(tái)的核心發(fā)起人之一，據(jù)他回憶，發(fā)起YMIR的初衷，是希望通過開源AI系統(tǒng)能力，讓每一家企業(yè)都能擁抱AI，加速AI產(chǎn)業(yè)化、平民化。

未來AI會(huì)滲入各行各業(yè)，AI能力或AI思維將會(huì)成為一個(gè)從業(yè)者需具備的基本素質(zhì)，但因資源有限，每個(gè)企業(yè)都招聘很多博士去做AI開發(fā)是不現(xiàn)實(shí)的。

這也是YMIR核心發(fā)起團(tuán)隊(duì)的共識(shí)：加速AI普及，一定需要一個(gè)開源平臺(tái)，來幫助AI企業(yè)低門檻、高質(zhì)量地完成AI開發(fā)。

▲YMIR主頁

就像40年前，使用電腦是一項(xiàng)專業(yè)技能，而隨著Windows操作系統(tǒng)、Office辦公軟件等工具地發(fā)展，如今基本受過高等教育的人都會(huì)使用電腦。

AI亦是如此，要從早期過程不標(biāo)準(zhǔn)化、對(duì)人才專業(yè)度要求高的“快糙猛”研發(fā)方式，過渡到大規(guī)模應(yīng)用于各垂類行業(yè)階段，搭建系統(tǒng)性能力平臺(tái)至關(guān)重要。

“業(yè)內(nèi) 雖然已有不少開源項(xiàng)目，但還缺少針對(duì)算法研發(fā)全流程工作的產(chǎn)品級(jí)開源工具?！蓖跣⒂钫f。

AI算法開發(fā)是一整套專業(yè)研發(fā)環(huán)節(jié)的組合，包括數(shù)據(jù)標(biāo)注、計(jì)算框架、神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)、數(shù)據(jù)挖掘設(shè)計(jì)等等。這些工作通常需要AI專業(yè)的碩士或博士通過編程進(jìn)行每個(gè)環(huán)節(jié)的設(shè)計(jì)，并手動(dòng)將這些環(huán)節(jié)連接起來形成一整套研發(fā)流程。

如果缺乏開源易用的工具，那么高質(zhì)量的AI研發(fā)就只能是“專家的事”。

YMIR團(tuán)隊(duì)對(duì)國內(nèi)外的模型生產(chǎn)工具做過詳細(xì)調(diào)研，他們發(fā)現(xiàn)，這些工具的開發(fā)多由科學(xué)家或科研人員主導(dǎo)，缺乏對(duì)產(chǎn)業(yè)認(rèn)知，無法真正解決業(yè)界痛點(diǎn)。

“算法的研發(fā)是持續(xù)的過程?！蓖跣⒂钫f，“根據(jù)我們的經(jīng)驗(yàn)，第一次訓(xùn)練的模型是百分之百不能滿足業(yè)務(wù)需求的，你必須在客戶現(xiàn)實(shí)的場景中去迭代模型，才能達(dá)到業(yè)務(wù)所需的目標(biāo)?！?/p>

但當(dāng)前許多模型生產(chǎn)工具都是“一次性”、“理想化”的，訓(xùn)練一遍就不再動(dòng)了，等模型被用到實(shí)際場景，很可能出現(xiàn)偏差。

而YMIR項(xiàng)目由一幫有豐富產(chǎn)品經(jīng)驗(yàn)的AI算法開發(fā)人員參與，他們將此前的經(jīng)驗(yàn)以數(shù)據(jù)、流程等可視化的形式沉淀積累，通過流水線流程設(shè)計(jì)，讓AI開發(fā)的工作效率飛速轉(zhuǎn)起來。

“以前這么多人可以干一件事情，現(xiàn)在這么多人可以干十件事情，效率更高。”王孝宇說。

無論是小型AI公司，還是有AI開發(fā)需求但缺少AI研發(fā)人才的企業(yè)，都能免費(fèi)使用這一開源平臺(tái)，針對(duì)目標(biāo)場景，訓(xùn)練出滿足需求的專用AI模型。

據(jù)YMIR核心研發(fā)成員胡文澤博士透露，一些AI芯片公司也在投入人力向YMIR提交代碼，從而批量化生產(chǎn)模型，滿足研發(fā)芯片期間測試特定算法的需求。

這樣一來，高精度AI模型開發(fā)，不再只是AI專家的獨(dú)享技能。

▲YMIR團(tuán)隊(duì)分享的一個(gè)簡短背景介紹視頻

二、親自上手：“挖掘-標(biāo)注-訓(xùn)練”循環(huán)，高精度模型訓(xùn)練的有效飛輪

智東西試用后，感覺YMIR極易上手，整個(gè)過程無需敲入代碼，只用進(jìn)行鼠標(biāo)點(diǎn)擊或拖拽，每個(gè)步驟都有清晰的指引，而且可視化顯示界面很方便用戶對(duì)數(shù)據(jù)和模型的管理和查看。

YMIR采用項(xiàng)目制管理設(shè)計(jì)，覆蓋了典型AI模型開發(fā)過程中端到端的全流程步驟，通過將訓(xùn)練流程標(biāo)準(zhǔn)化和可視化，為數(shù)據(jù)處理、模型訓(xùn)練、模型評(píng)估、模型迭代等業(yè)務(wù)需求提供一站式服務(wù)。

下面我們展示YMIR系統(tǒng)的幾個(gè)主要用戶界面。

在使用YMIR前，你需要先準(zhǔn)備好數(shù)據(jù)集，并安裝好英偉達(dá)驅(qū)動(dòng)環(huán)境，然后就可以進(jìn)行數(shù)據(jù)集導(dǎo)入了。

▲界面1：數(shù)據(jù)集導(dǎo)入

需注意的是，當(dāng)你導(dǎo)入帶標(biāo)注文件的數(shù)據(jù)集時(shí)，要確保標(biāo)注類型屬于系統(tǒng)已有的標(biāo)簽列表，否則需先進(jìn)入標(biāo)簽管理界面，添加自定義標(biāo)簽。

完成該任務(wù)后，頁面會(huì)指引進(jìn)入數(shù)據(jù)標(biāo)注步驟。

YMIR支持使用開放的LabelFree標(biāo)注工具，提供有一鍵標(biāo)注服務(wù)，對(duì)數(shù)據(jù)集大小、用戶數(shù)量、項(xiàng)目數(shù)量等均無限制。你也可以外接其他標(biāo)注工具。

▲界面2：LabelFree數(shù)據(jù)標(biāo)注

胡文澤告訴智東西，經(jīng)過其內(nèi)部測試，YMIR可支持?jǐn)?shù)百萬級(jí)數(shù)據(jù)規(guī)模的目標(biāo)檢測任務(wù)。

深度學(xué)習(xí)訓(xùn)練需要對(duì)大量的數(shù)據(jù)進(jìn)行標(biāo)注，如果全部由人工進(jìn)行標(biāo)注，人力和時(shí)間成本都很高。

而YMIR平臺(tái)采用主動(dòng)學(xué)習(xí)的方法，通過挖掘、標(biāo)注和重訓(xùn)練的循環(huán)，比將全部數(shù)據(jù)標(biāo)注后再訓(xùn)練的方法更加高效，減少了對(duì)低質(zhì)量數(shù)據(jù)的標(biāo)注成本。

下圖所示是數(shù)據(jù)挖掘界面。

▲界面3：數(shù)據(jù)挖掘

在AI模型開發(fā)周期中，模型迭代占據(jù)90%以上的時(shí)間，而數(shù)據(jù)迭代是模型迭代的關(guān)鍵部分。

YMIR提供的數(shù)據(jù)集版本管理功能，能自動(dòng)生成數(shù)據(jù)集版本，并記錄每次對(duì)數(shù)據(jù)集的操作，完整追蹤數(shù)據(jù)集的迭代，對(duì)有大量數(shù)據(jù)挖掘的研發(fā)非常友好。

在模型訓(xùn)練界面，你可以清晰地看到訓(xùn)練進(jìn)度以及一些關(guān)鍵參數(shù)。

▲界面4：模型訓(xùn)練

每次模型訓(xùn)練后，YMIR還可以對(duì)模型結(jié)果進(jìn)行驗(yàn)證，即通過可視化方式查看模型在真實(shí)圖片中的表現(xiàn)。如果達(dá)到預(yù)期，即可下載模型；如果需繼續(xù)使用該模型挖掘，則可進(jìn)入下一輪的“挖掘-標(biāo)注-訓(xùn)練”循環(huán)，直至達(dá)到預(yù)期效果。

▲界面5：模型驗(yàn)證

YMIR以模型與數(shù)據(jù)集的迭代為核心目標(biāo)來設(shè)計(jì)，一套流程走下來，不僅能針對(duì)業(yè)務(wù)場景持續(xù)提高模型性能，還能提高開發(fā)效率，降低研發(fā)門檻。

YMIR核心開發(fā)者黃軒介紹，過去用傳統(tǒng)研發(fā)方式，大概至少需1個(gè)月迭代1次數(shù)據(jù)和模型，現(xiàn)在用YMIR平臺(tái)1周就能迭代2次。

以前經(jīng)驗(yàn)豐富的AI算法工程師才能完成的工作，現(xiàn)在，只要具備計(jì)算機(jī)操作知識(shí)，你就能用YMIR平臺(tái)實(shí)現(xiàn)類似的高精度模型結(jié)果。

為什么YMIR在降低操作門檻的同時(shí)，能確保沒有在產(chǎn)出模型質(zhì)量上做妥協(xié)？

我們將在下一章節(jié)做進(jìn)一步解讀。

三、數(shù)據(jù)驅(qū)動(dòng)，滿足實(shí)際業(yè)務(wù)場景訓(xùn)練需求

針對(duì)不同應(yīng)用場景，YMIR如何做到發(fā)揮穩(wěn)定地訓(xùn)練出高精度模型？

這主要得益于YMIR采用的數(shù)據(jù)處理方式。

YMIR是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的AI訓(xùn)練平臺(tái)，與模型驅(qū)動(dòng)的訓(xùn)練方式相比，在面對(duì)具體任務(wù)時(shí)，往往能更為快速地在目標(biāo)場景中，迭代出高精度的AI模型。

模型驅(qū)動(dòng)的顯著特征是當(dāng)模型足夠準(zhǔn)確時(shí)，其結(jié)果在絕大多數(shù)情況下可達(dá)到預(yù)期甚至取得最優(yōu)。但在實(shí)際應(yīng)用中，即使對(duì)一個(gè)具體任務(wù)進(jìn)行精確實(shí)驗(yàn)室建模，其也極難在應(yīng)用場景中達(dá)到預(yù)期。

而數(shù)據(jù)驅(qū)動(dòng)的方式，是讓模型在數(shù)據(jù)中不斷校驗(yàn)調(diào)優(yōu)，最終得出符合預(yù)期需求模型的過程。

這解決了業(yè)界的一個(gè)主要痛點(diǎn)：模型需要持續(xù)迭代。

早在2015年，機(jī)器學(xué)習(xí)泰斗、斯坦福大學(xué)教授吳恩達(dá)（Andrew Ng）就在演講中提到“公司的壁壘不是算法，而是數(shù)據(jù)”。

他認(rèn)為，要打造一款A(yù)I產(chǎn)品，需要讓算法利用足夠的數(shù)據(jù)，使得產(chǎn)品運(yùn)行起來，然后通過產(chǎn)品來獲取用戶，用戶再提供更多的數(shù)據(jù)……周而復(fù)始。

吳恩達(dá)預(yù)言，在未來的AI研發(fā)中，數(shù)據(jù)迭代帶來的性能提升，將大大超過模型架構(gòu)本身的演進(jìn)帶來的性能提升。

而YMIR的核心理念，便是依靠產(chǎn)品級(jí)模型生產(chǎn)流水線平臺(tái)，以主動(dòng)學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)方式，讓更多不具備專業(yè)知識(shí)和經(jīng)驗(yàn)的人參與到算法開發(fā)中，從而加速AI技術(shù)和應(yīng)用的繁榮。

▲一個(gè)典型的YMIR工作流程

YMIR平臺(tái)先用少量已標(biāo)注數(shù)據(jù)訓(xùn)練出一個(gè)初始模型，再用該模型從海量數(shù)據(jù)中挖掘出對(duì)優(yōu)化模型最有利的數(shù)據(jù)，然后僅針對(duì)這些高質(zhì)量數(shù)據(jù)進(jìn)行標(biāo)注，實(shí)現(xiàn)對(duì)原本的訓(xùn)練數(shù)據(jù)集進(jìn)行高效擴(kuò)充。

接著，該平臺(tái)使用更新后的數(shù)據(jù)集再次訓(xùn)練模型，如此循環(huán)往復(fù)，模型的質(zhì)量就會(huì)不斷提升。

由于YMIR各功能都是開源的，你可以將自己開發(fā)的工具對(duì)接到Y(jié)MIR平臺(tái)提供的開放API，也可以按照自己的想法修改代碼，包括數(shù)據(jù)存儲(chǔ)、模型訓(xùn)練、標(biāo)注工具、可視化界面等等。

據(jù)了解，YMIR也參與了云天勵(lì)飛獲得2021年吳文俊人工智能科技進(jìn)步一等獎(jiǎng)的項(xiàng)目，是實(shí)現(xiàn)模型快速迭代平臺(tái)的關(guān)鍵組成。

YMIR核心開發(fā)成員向智東西透露，目前已有超過20家機(jī)構(gòu)申請(qǐng)?jiān)囉肶MIR平臺(tái)。

結(jié)語：以開源強(qiáng)化AI生產(chǎn)力

邊際成本是未來十年AI行業(yè)的競爭核心要素。目前，AI模型通用性低導(dǎo)致的項(xiàng)目碎片化、交付效率低是行業(yè)的普遍痛點(diǎn)。未來高效率、低成本邊際成產(chǎn)AI算法將成為行業(yè)的競爭焦點(diǎn)。

而擁有流程化、一站式、開放設(shè)計(jì)、無代碼、開源免費(fèi)五大特點(diǎn)的YMIR平臺(tái)，對(duì)推動(dòng)AI模型生產(chǎn)更加高效低質(zhì)的目標(biāo)，起到積極的推進(jìn)作用。

總體來說，YMIR平臺(tái)的使用門檻很低，采用RPA流程化思維設(shè)計(jì)，一站式覆蓋AI模型生產(chǎn)的整個(gè)生命周期，支持無代碼開發(fā)，不需要使用者具備專業(yè)AI技能，并且個(gè)人、企業(yè)均可免費(fèi)使用不受限。

有編程基礎(chǔ)的開發(fā)人員，不妨申請(qǐng)?jiān)囉茫部梢詤⑴c到這個(gè)國際開源社區(qū)中交流，或許能被啟發(fā)或貢獻(xiàn)一些新的想法，助力優(yōu)化AI模型生產(chǎn)流程。

YMIR試用申請(qǐng)地址：https://github.com/IndustryEssentials/ymir#12-apply-for-trial