在進(jìn)行AI模型開(kāi)發(fā)時(shí)，數(shù)據(jù)的數(shù)量與質(zhì)量直接影響模型效果。在實(shí)地?cái)?shù)據(jù)采集之后，企業(yè)往往需要從大量數(shù)據(jù)中篩選出符合訓(xùn)練要求的相關(guān)數(shù)據(jù)，剔除質(zhì)量差或不相關(guān)的數(shù)據(jù)，這個(gè)步驟被稱為數(shù)據(jù)清洗。

　　通常來(lái)講，在清洗數(shù)據(jù)時(shí)主要會(huì)清理掉對(duì)訓(xùn)練任務(wù)沒(méi)有用途的數(shù)據(jù)，例如在訓(xùn)練工廠工人佩戴安全帽識(shí)別模型時(shí)，希望在視頻抽幀后的大量圖片中僅保留有工人出現(xiàn)的圖片進(jìn)行標(biāo)注訓(xùn)練。在這一步驟上，傳統(tǒng)做法是進(jìn)行人工篩選，人力投入較多且容易發(fā)生遺漏;隨著人工智能發(fā)展，目前許多平臺(tái)，如百度大腦AI開(kāi)放平臺(tái)，已經(jīng)提供人臉檢測(cè)、人體檢測(cè)的通用接口，用戶可以先調(diào)用接口處理數(shù)據(jù)，篩選出采集到人像的數(shù)據(jù)，再進(jìn)入到具體的檢測(cè)識(shí)別步驟。那么，是否有一個(gè)集成了各項(xiàng)數(shù)據(jù)處理能力，盡量減少人工干預(yù)，能夠自動(dòng)完成視頻數(shù)據(jù)采集、抽幀、數(shù)據(jù)清洗、智能標(biāo)注，從而高效提取高質(zhì)量訓(xùn)練數(shù)據(jù)的解決方案呢?

　　關(guān)注到有越來(lái)越多的用戶對(duì)數(shù)據(jù)處理有強(qiáng)烈需求，今年4月，百度全新推出智能數(shù)據(jù)服務(wù)平臺(tái)EasyData，集數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注等功能于一身，完成上述數(shù)據(jù)處理工作之后，可以在EasyDL平臺(tái)進(jìn)行模型訓(xùn)練、模型部署。

　　針對(duì)數(shù)據(jù)清洗這一具體功能，EasyData目前上線了去相似、去模糊、旋轉(zhuǎn)、裁剪和鏡像這5種基礎(chǔ)的數(shù)據(jù)清洗功能。那么除了常規(guī)能力之外，EasyData還有什么業(yè)內(nèi)獨(dú)家的終極秘技?

　　從應(yīng)用出發(fā)，高級(jí)清洗功能讓數(shù)據(jù)處理事半功倍

　　在園區(qū)智能管理等場(chǎng)景下，需要監(jiān)測(cè)工廠園區(qū)、林區(qū)中是否有人闖入，或檢查工人是否佩戴安全帽。為了滿足此類場(chǎng)景下的圖片清洗需求，EasyData上線了高級(jí)清洗功能，將無(wú)人臉、無(wú)人體出現(xiàn)的數(shù)據(jù)進(jìn)行過(guò)濾。EasyData聯(lián)動(dòng)百度大腦AI開(kāi)放平臺(tái)提供的前沿技術(shù)能力，用戶僅需在百度智能云上開(kāi)通相應(yīng)的服務(wù)(人臉檢測(cè)和人體檢測(cè)都可以免費(fèi)試用)，就可以通過(guò)簡(jiǎn)單的配置，在EasyData平臺(tái)上直接使用這些功能進(jìn)行自動(dòng)數(shù)據(jù)清洗。

　　1、過(guò)濾無(wú)人臉圖片

　　如果以前沒(méi)有用過(guò)百度智能云的人臉檢測(cè)服務(wù)，第一次使用高級(jí)清洗的功能會(huì)提示“申請(qǐng)免費(fèi)試用”，點(diǎn)擊鏈接會(huì)進(jìn)入百度智能云人臉檢測(cè)的頁(yè)面，按照提示，開(kāi)通服務(wù)后，再回到EasyData的頁(yè)面就可以正常使用了。

　　和基礎(chǔ)的數(shù)據(jù)清洗服務(wù)一樣，過(guò)濾無(wú)人臉圖片也是以數(shù)據(jù)集為單位的。在數(shù)據(jù)清洗頁(yè)面選擇過(guò)濾無(wú)人臉圖片，點(diǎn)擊保存，提交任務(wù)就可以進(jìn)行清洗。如果勾選了“保留標(biāo)簽”，那么不僅會(huì)把沒(méi)有人臉的圖片過(guò)濾，還會(huì)將人臉畫(huà)框同步至清洗后的數(shù)據(jù)集。

提交任務(wù)時(shí)勾選保留人臉畫(huà)框

　　例如下圖，清洗前的數(shù)據(jù)集除了人臉圖片，還有一些風(fēng)景照、車輛等其他物體的照片，人臉過(guò)濾會(huì)把這些沒(méi)有人臉的圖片過(guò)濾，保留下來(lái)包含人臉的圖片，包括戴口罩、被遮擋的人臉也可以識(shí)別出來(lái)。

清洗前的數(shù)據(jù)集中有人臉照片、風(fēng)景照、靜物照

清洗后的數(shù)據(jù)集只有人臉照片被保存下來(lái)

戴口罩的人臉圖片

　　2、過(guò)濾無(wú)人體圖片

　　過(guò)濾無(wú)人體圖片同樣會(huì)用到百度智能云的人體檢測(cè)能力，在使用之前需要在百度智能云上開(kāi)通相應(yīng)的服務(wù)。過(guò)濾無(wú)人體圖片會(huì)用到兩個(gè)接口，人體檢測(cè)和屬性分析(https://ai.baidu.com/tech/body/attr)和人像分割(https://ai.baidu.com/tech/body/seg)。數(shù)據(jù)集模板為圖像分類和物體檢測(cè)的數(shù)據(jù)集會(huì)調(diào)用人體檢測(cè)和屬性分析接口，數(shù)據(jù)集模板為圖像分割的數(shù)據(jù)集會(huì)調(diào)用人像分割接口。百度智能云上的人像分割接口返回的是人像圖片對(duì)應(yīng)的二值圖片(人像為1，背景為0)，在后端會(huì)執(zhí)行相應(yīng)的標(biāo)簽轉(zhuǎn)換，返回的二值圖片轉(zhuǎn)換成對(duì)應(yīng)的標(biāo)簽。

清洗前的數(shù)據(jù)集中有風(fēng)景圖、靜物圖和人體圖

數(shù)據(jù)清洗過(guò)濾保留的5張人體圖片

模板為圖像檢測(cè)的數(shù)據(jù)集清洗后的標(biāo)簽

模板為圖像分割的數(shù)據(jù)集清洗后的標(biāo)簽

　　關(guān)注廣泛需求，提供多種基礎(chǔ)數(shù)據(jù)清洗功能

　　1、去相似圖片

　　用攝像頭自動(dòng)采集圖片的時(shí)候，由于長(zhǎng)時(shí)間在同一個(gè)場(chǎng)景下，即使做了抽幀處理，還是會(huì)有大量的相似圖片。大量的相似圖片，數(shù)據(jù)價(jià)值低，而且占用了大量的存儲(chǔ)空間，而人工篩選，耗時(shí)費(fèi)力，容易出錯(cuò)。EasyData平臺(tái)推出的去相似圖片利用圖片的相似檢索特征，計(jì)算圖片的兩兩相關(guān)性，可以自動(dòng)地判斷相似圖片、保留不相似的圖片，具體操作也十分簡(jiǎn)便。

　　如下圖所示，去相似前的數(shù)據(jù)集里有8張圖片，根據(jù)圖片的相似度，圖片可以分成3類。清洗完成后的數(shù)據(jù)集中有3張圖片，分別是清洗前的3類圖片中的一張。

去相似前的8張圖片

去相似后保留下來(lái)3張圖片

拖拽圓點(diǎn)可以修改相似度分值

　　2、去模糊圖片

　　相機(jī)抖動(dòng)、物體快速移動(dòng)都會(huì)造成拍出來(lái)的圖片不清晰、產(chǎn)生低質(zhì)圖片。通過(guò)人工挑選的方法去除模糊圖片缺乏統(tǒng)一的標(biāo)準(zhǔn)，容易漏刪或多刪。利用EasyData的去模糊圖片，可以輕易地去除模糊圖片。

　　以示例圖片為例，清洗前有5張圖片，畫(huà)質(zhì)不一，清洗后保留下來(lái)兩張高質(zhì)量的圖片。此外，如果用戶認(rèn)為有部分模糊圖片沒(méi)有去除，或者高質(zhì)量的圖片沒(méi)有保留下來(lái)，可以考慮調(diào)整清晰度的分值，重新清洗。

去模糊前的5張畫(huà)質(zhì)不一的圖片

去模糊后保留下來(lái)清晰圖片

拖拽圓點(diǎn)可以修改清晰度分值

　　對(duì)于普通清洗，可以在一個(gè)清洗任務(wù)中提交多個(gè)清洗操作，例如同時(shí)勾選去相似、去模糊功能，即可同時(shí)去除相似和模糊的圖片。

　　目前的數(shù)據(jù)清洗服務(wù)所能支持的最大數(shù)據(jù)集大小是5萬(wàn)張圖片。基于EasyData平臺(tái)的大數(shù)據(jù)處理平臺(tái)，對(duì)于基礎(chǔ)清洗服務(wù)，2萬(wàn)張圖片的數(shù)據(jù)集，僅需1小時(shí)可以完成清洗;5萬(wàn)張圖片的數(shù)據(jù)集，只需2小時(shí)即可完成清洗。對(duì)于高級(jí)清洗服務(wù)來(lái)說(shuō)，清洗效率也可以通過(guò)配置QPS靈活調(diào)整清洗效率，更方便快捷。

　　考慮到智能園區(qū)管理等場(chǎng)景中，有對(duì)視頻進(jìn)行截幀、自動(dòng)上傳的需求，EasyData平臺(tái)也免費(fèi)提供SDK，供用戶進(jìn)行下載，可以將SDK接入業(yè)務(wù)現(xiàn)場(chǎng)的數(shù)據(jù)采集終端，在平臺(tái)設(shè)置截幀時(shí)間與間隔，自動(dòng)將原始視頻數(shù)據(jù)截為圖片數(shù)據(jù)并上傳至EasyData平臺(tái)進(jìn)行后續(xù)處理。

　　EasyData是百度大腦推出的業(yè)內(nèi)首個(gè)提供軟硬一體、端云協(xié)同的智能數(shù)據(jù)采集與處理平臺(tái)，支持圖片、文本、音頻和視頻四類數(shù)據(jù)的處理，其中圖片數(shù)據(jù)支持了采集、清洗、標(biāo)注一站式處理，覆蓋模型開(kāi)發(fā)中的各類數(shù)據(jù)管理需求。EasyData處理后的數(shù)據(jù)可直接應(yīng)用于EasyDL模型訓(xùn)練，通過(guò)EasyDL預(yù)訓(xùn)練模型和自動(dòng)遷移學(xué)習(xí)機(jī)制，高效開(kāi)發(fā)AI模型。

　　立即體驗(yàn)EasyData：https://ai.baidu.com/easydata/

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。