在AI模型開發(fā)中，數(shù)據(jù)準(zhǔn)備往往占據(jù)了大量時(shí)間。經(jīng)過長(zhǎng)時(shí)間的調(diào)研與訪問，我們發(fā)現(xiàn)用戶常常會(huì)遇到以下問題：

     難以獲取與場(chǎng)景數(shù)據(jù)匹配的訓(xùn)練數(shù)據(jù)。在具體業(yè)務(wù)場(chǎng)景中，模型的效果至關(guān)重要，我們往往會(huì)追求高精度模型效果，以保證模型能做到替代人工、降本增效的最終目的。眾所周知，訓(xùn)練數(shù)據(jù)和場(chǎng)景數(shù)據(jù)的匹配程度會(huì)極大影響模型表現(xiàn)，越貼近使用場(chǎng)景的數(shù)據(jù)，更有可能訓(xùn)練出超高精度的模型。但可能因?yàn)闅v史原因沒有大量現(xiàn)場(chǎng)的存量數(shù)據(jù)、或者重新采集需要進(jìn)行大量調(diào)研才能部署新的采集設(shè)備、又或者如果需要人工到業(yè)務(wù)現(xiàn)場(chǎng)去收集訓(xùn)練素材，不僅成本高，一旦業(yè)務(wù)出現(xiàn)變動(dòng)，也很難保證數(shù)據(jù)的實(shí)時(shí)性。

　　視頻場(chǎng)景數(shù)據(jù)采集及處理繁雜。在視頻監(jiān)控場(chǎng)景中，通常是多個(gè)攝像頭覆蓋多角度長(zhǎng)時(shí)間工作，產(chǎn)生的視頻文件體積大，處理困難。對(duì)于一個(gè)最普通的130W像素?cái)z像頭在2M碼流的情況下，連續(xù)工作一天24小時(shí)，將會(huì)生成約21G的視頻文件。在進(jìn)行視頻數(shù)據(jù)處理時(shí)，僅上傳下載就會(huì)耗費(fèi)大量時(shí)間。對(duì)自動(dòng)視頻截幀、自動(dòng)上傳的需求呼聲越來越高。

　　 數(shù)據(jù)量、豐富度和數(shù)據(jù)質(zhì)量欠佳。好不容易采集到的大量業(yè)務(wù)數(shù)據(jù)，清洗也是一項(xiàng)巨大的工作，用戶曾向EasyDL團(tuán)隊(duì)求助，自己采集好的圖像數(shù)據(jù)因?yàn)榕臄z角度問題出現(xiàn)了整體偏斜的情況，影響標(biāo)注效果和模型效果;也有用戶表示想快速去掉訓(xùn)練集中不清晰的圖片，只保留高質(zhì)量圖片進(jìn)行訓(xùn)練。這一系列數(shù)據(jù)清洗的需求也同時(shí)被EasyDL的研發(fā)工程師們關(guān)注著。

　　在了解開發(fā)者在數(shù)據(jù)層面的諸多需求后，百度大腦團(tuán)隊(duì)為開發(fā)者帶來了一款全新的數(shù)據(jù)產(chǎn)品——EasyData。從名字即可看到，EasyData圍繞“Data數(shù)據(jù)”展開，重點(diǎn)關(guān)注AI模型開發(fā)過程中的數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)標(biāo)注、數(shù)據(jù)分析等環(huán)節(jié)，解決以上開發(fā)者反饋的各類數(shù)據(jù)管理問題。

　　作為業(yè)內(nèi)首個(gè)提供軟硬一體、端云協(xié)同的智能數(shù)據(jù)采集服務(wù)的平臺(tái)，EasyData可支持圖片、文本、音頻和視頻四類數(shù)據(jù)的處理，其中圖片數(shù)據(jù)支持了采集、清洗、標(biāo)注一站式處理，且四類數(shù)據(jù)都已經(jīng)支持將EasyData處理的數(shù)據(jù)應(yīng)用于EasyDL模型訓(xùn)練，便于開發(fā)者直接使用。

　　同時(shí)，EasyData延承了百度大腦Easy系列產(chǎn)品簡(jiǎn)單易用的特性，界面簡(jiǎn)潔，操作流暢。隨著產(chǎn)品的不斷升級(jí)與優(yōu)化，EasyData也將會(huì)提供更多的數(shù)據(jù)方向支持，持續(xù)為開發(fā)者提供更全面與優(yōu)質(zhì)的智能數(shù)據(jù)服務(wù)。

　　接下來，我們從圖片數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、數(shù)據(jù)清洗方面來了解EasyData的特色和功能。

　  【采集軟件助力快速獲取訓(xùn)練數(shù)據(jù)】

　　在安防監(jiān)控、工業(yè)質(zhì)檢等諸多領(lǐng)域，用戶的數(shù)據(jù)來源將會(huì)是攝像頭或者相機(jī)，面對(duì)大量視頻和圖片，截幀、傳輸通常需要線下單獨(dú)操作，費(fèi)時(shí)費(fèi)力?？紤]到用戶的這一需求，EasyData提供了一個(gè)官方采集軟件，可以簡(jiǎn)單快速將攝像頭的數(shù)據(jù)進(jìn)行采集與截幀，并傳輸?shù)綌?shù)據(jù)集。目前，這個(gè)采集軟件已經(jīng)支持Linux、Windows操作系統(tǒng)，同時(shí)還支持了主流的ARM開發(fā)版RK3399。在攝像頭方面，支持市面上絕大多數(shù)USB的攝像頭，并同時(shí)支持RTSP網(wǎng)絡(luò)協(xié)議的攝像頭，力求最大程度覆蓋用戶的使用范圍。

　　進(jìn)入EasyData首頁，如下圖所示，在【數(shù)據(jù)采集】的【攝像頭管理】中，即可一鍵下載本地軟件。此軟件支持圖形化界面配置，簡(jiǎn)單易懂。用戶通過此軟件，可以添加設(shè)備并根據(jù)業(yè)務(wù)需求設(shè)置抽幀策略，并將圖片傳輸至指定目錄。在這兩個(gè)功能的加持之下，原始圖像數(shù)據(jù)接入EasyData變得十分方便，并且完成了圖片的云端管理，大量節(jié)省了單獨(dú)抽幀、傳輸?shù)墓ぷ髁俊?/p>

　　如圖所示，在下載圖像采集SDK后，用戶可以在EasyData平臺(tái)中根據(jù)業(yè)務(wù)需求設(shè)置抽幀幀率、運(yùn)行時(shí)間，提交之后，部署在攝像頭的SDK將會(huì)根據(jù)設(shè)定自行抽幀，用戶可在【查看云數(shù)據(jù)】中查看同步到EasyData的攝像頭數(shù)據(jù)，并保存到數(shù)據(jù)集中，進(jìn)行下一步處理或訓(xùn)練。

　　為了進(jìn)一步方便用戶使用，目前已經(jīng)支持同時(shí)接入多臺(tái)攝像頭設(shè)備。在對(duì)攝像頭進(jìn)行云端管理時(shí)，用戶可以查看每一臺(tái)攝像頭的在線/離線狀態(tài)，確保攝像頭在線以保證數(shù)據(jù)的上傳。并且，通過篩選條件，用戶可以查看單個(gè)或多個(gè)攝像頭采集上傳的數(shù)據(jù)。

　　EasyData也支持?jǐn)?shù)據(jù)閉環(huán)模型優(yōu)化策略，通過云服務(wù)調(diào)用獲取數(shù)據(jù)，由于EasyData已經(jīng)實(shí)現(xiàn)了與EasyDL的數(shù)據(jù)共享，這里的云服務(wù)指的是用戶在EasyDL平臺(tái)將模型發(fā)布為公有云API后，在授權(quán)EasyData獲取API調(diào)用數(shù)據(jù)的前提下，用戶可以通過EasyData查找公有云API中識(shí)別錯(cuò)誤的數(shù)據(jù)，保存到數(shù)據(jù)集進(jìn)行清洗、標(biāo)注后，進(jìn)行下一次模型優(yōu)化訓(xùn)練，最終提升EasyDL公有云API調(diào)用的模型效果。

　　整個(gè)流程，如下圖所示：

　　【多種標(biāo)注方式省時(shí)省力】

　　在數(shù)據(jù)標(biāo)注方面，EasyData不僅支持多類數(shù)據(jù)、多種模板的人工標(biāo)注，還支持智能標(biāo)注。只需用戶進(jìn)行少量關(guān)鍵數(shù)據(jù)的操作(通常為完成30%左右的數(shù)據(jù)標(biāo)注)，即可一鍵化完成剩余數(shù)據(jù)的處理，在多輪標(biāo)注之后，可以保證模型訓(xùn)練效果的持平，大大降低了數(shù)據(jù)標(biāo)注的成本。目前智能標(biāo)注已支持物體檢測(cè)、圖像分割、文本分類。

　　在多人協(xié)同標(biāo)注方面，EasyData可以和百度眾測(cè)進(jìn)行對(duì)接，未來還將推出全新的多人標(biāo)注，讓用戶在平臺(tái)直接進(jìn)行標(biāo)注任務(wù)的管理、分發(fā)和驗(yàn)收，更為便捷地完成協(xié)同操作，在短時(shí)間內(nèi)完成對(duì)大量數(shù)據(jù)的處理。

　　【智能清洗快速提升數(shù)據(jù)質(zhì)量】

　　在影響模型效果的諸多因素中，數(shù)據(jù)質(zhì)量始終是一個(gè)關(guān)鍵問題。尤其在眾多使用EasyDL進(jìn)行CV方向模型開發(fā)的用戶中，圖片的清晰程度、被檢測(cè)物體的具體位置都會(huì)對(duì)模型的最終表現(xiàn)產(chǎn)生影響。

　　數(shù)據(jù)清洗是很多用戶期待已久的功能。EasyData不負(fù)眾望，為用戶提供了這一服務(wù)。在圖像方向，EasyData為用戶帶來了去模糊、去近似、旋轉(zhuǎn)、鏡像和裁剪等清洗和處理功能。其中，去模糊、去近似、裁剪等功能非常試用于視頻數(shù)據(jù)抽幀后的原始圖片數(shù)據(jù)處理，適用于視頻監(jiān)控等業(yè)務(wù)場(chǎng)景應(yīng)用獲取高質(zhì)量數(shù)據(jù)。

　　- 去模糊：在使用去模糊功能時(shí)，可以在圖片上方看到一個(gè)清晰度調(diào)整條，通過拖拽圓點(diǎn)選取對(duì)應(yīng)清晰度取值，將會(huì)僅保留清晰度高于此值的圖片。以下圖為例，當(dāng)我們選擇“保留清晰度大于等于此值的圖片：4959”時(shí)，僅有最右側(cè)清晰度為5000的圖片被保留下來。

　　- 去近似：與去模糊相似，用戶可以在圖片上方看到一個(gè)近似度選取條，通過拖拽圓點(diǎn)選取對(duì)應(yīng)相似度取值，只會(huì)保存相似度高于此值的圖片。以下圖為例，當(dāng)用戶選擇“兩圖相似度大于等于此值保留一張：0.57”時(shí)，僅有相似度為0.75的第一張圖將會(huì)被保留下來。

　　- 旋轉(zhuǎn)：根據(jù)示例中參考圖片，通過下拉框可以選擇不同的順時(shí)針旋轉(zhuǎn)角度，最終針對(duì)所有圖片做旋轉(zhuǎn)操作。

　　- 鏡像：水平鏡像是指將圖像的左右部分以圖像垂直中軸線為中心進(jìn)行鏡像對(duì)換;垂直鏡像是指將圖像的上下兩部分以圖像水平中軸線為中心進(jìn)行鏡像對(duì)換;中心鏡像是指將圖像以圖像水平中軸線和垂直中軸線的交點(diǎn)為中心進(jìn)行鏡像對(duì)換，相當(dāng)于將圖像先后進(jìn)行水平鏡像、垂直鏡像。根據(jù)示例中參考圖片，通過下拉框選擇不同的鏡像方式，最終針對(duì)所有圖片做對(duì)應(yīng)鏡像操作。

　　- 剪裁：在隨機(jī)圖片中通過拖拽裁剪框邊緣各點(diǎn)調(diào)節(jié)框大小，最終針對(duì)所有圖片只保留框選出區(qū)域。

　　需要注意的是，考慮到用戶數(shù)據(jù)的重要性，用戶在進(jìn)行數(shù)據(jù)清洗之后，可以選擇保留清洗前后的兩個(gè)數(shù)據(jù)集，而非只能將清洗掉的數(shù)據(jù)進(jìn)行徹底刪除。目前，數(shù)據(jù)清洗已經(jīng)支持了CV方向，在未來EasyData的不斷優(yōu)化中，將會(huì)覆蓋更多方向，預(yù)置更為豐富的處理和清洗能力。

　　為了方便用戶在模型的開發(fā)中可以更好地借助EasyData的能力，進(jìn)行高效精準(zhǔn)的數(shù)據(jù)處理，EasyData與EasyDL的模型開發(fā)和訓(xùn)練流程已經(jīng)實(shí)現(xiàn)了無縫對(duì)接，支持?jǐn)?shù)據(jù)集直接引用到模型訓(xùn)練任務(wù)中，一站式獲取高精度AI模型。用戶可以在EasyData進(jìn)行數(shù)據(jù)采集、上傳與數(shù)據(jù)清洗等處理工作，無需單獨(dú)在本地進(jìn)行數(shù)據(jù)處理再上傳，節(jié)省了操作時(shí)間，在操作界面和流程上也更為順暢。

　　EasyData的目標(biāo)，旨在為用戶提供一站式智能數(shù)據(jù)服務(wù)，從數(shù)據(jù)采集、上傳，到數(shù)據(jù)的標(biāo)注、清洗，覆蓋數(shù)據(jù)管理全流程，使用EasyData一鍵完成數(shù)據(jù)準(zhǔn)備，縮短模型開發(fā)時(shí)間，并幫助用戶在更優(yōu)化的數(shù)據(jù)加持下，訓(xùn)練出效果更佳的AI模型，更好地賦能各類業(yè)務(wù)場(chǎng)景，加速AI落地。

　　立即搜索EasyData，或點(diǎn)擊https://ai.baidu.com/easydata/，即可體驗(yàn)。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。