新華社南京10月9日電　題：“一秒生成制服照”？ AI豈能如此換裝

新華社“新華視點”記者劉宇軒

用戶只需上傳一張生活照，便可一鍵生成個人軍裝照、警察照……“新華視點”記者調(diào)查發(fā)現(xiàn)，一些AI工具推出“換裝”功能，引發(fā)不少軍警迷的追捧。但是，有不法分子利用“AI換裝”功能，偽造軍警身份招搖撞騙，亟待引起警惕。

AI生成制服照被濫用

記者以“AI換軍裝”為關(guān)鍵詞，在部分短視頻平臺搜索到多款相關(guān)應(yīng)用。這些應(yīng)用以“穿電子軍裝過把癮”“AI圓了我兒時夢”等為亮點吸引用戶。有網(wǎng)民稱，只需上傳一張生活照，即可“秒變軍人”，配上戰(zhàn)車、閱兵場等背景，感覺圓了自己的“從軍夢”。

當(dāng)下一些流行的AI工具提供的AI生圖功能，也可以按使用者要求，實現(xiàn)AI變裝。然而，“AI換裝”被一些人不當(dāng)或不法使用，可能引發(fā)負(fù)面效應(yīng)。

相關(guān)專家在觀看部分AI換裝視頻后指出，不少換裝的軍人形象并不符合《中國人民解放軍內(nèi)務(wù)條令》規(guī)定的著裝規(guī)范，有的混淆軍種制式，有的使用假勛章，有的拼湊不同國家軍服元素。

江蘇大學(xué)管理學(xué)院黨委書記、教授馬國建表示，個別網(wǎng)民用AI將不同國家、軍種制式的軍服混搭，有的甚至把手持煙酒、勾肩搭背的生活照合成軍裝或警服照片、視頻，與我軍警應(yīng)有的形象不符，是對軍人和警察形象的不當(dāng)消費。

個別網(wǎng)民借AI生成虛假人民警察證、部隊任命書。今年3月，安徽黃山市屯溪區(qū)網(wǎng)民江某利用AI技術(shù)合成身穿軍裝的照片，并在社交平臺發(fā)布“經(jīng)軍委同意，任命我為黃山軍分區(qū)司令員”的虛假信息，意圖博取流量。該行為造成不良社會影響，江某被當(dāng)?shù)毓矙C(jī)關(guān)處以治安處罰。

有的不法分子借助“AI換裝”技術(shù)偽造身份，招搖撞騙。

今年4月，江蘇省江陰市人民法院對一起冒充軍人招搖撞騙案作出判決。網(wǎng)民路某并非現(xiàn)役軍人，卻盜用網(wǎng)絡(luò)上軍人訓(xùn)練的照片發(fā)布在短視頻平臺上；收獲不少點贊后，他又用AI將自己的頭像合成到軍裝照上，并花錢偽造軍官證，搖身變成“少校軍官”。在騙取6名女性信任后，他以“車禍”“租車見領(lǐng)導(dǎo)”等借口詐騙3萬多元。法院以冒充軍人招搖撞騙罪判處其有期徒刑2年。

今年7月，江蘇常州的唐大媽遭遇一場精心設(shè)計的騙局：詐騙分子通過AI視頻與受害人接觸，視頻中，對方身著帶有公安標(biāo)志的制服，以“涉案”為由恐嚇老人繳納高額“保證金”。好在警方及時預(yù)警并上門勸阻，避免了老人的財產(chǎn)損失。

平臺審核缺位 變造制服照“零門檻”

記者在某社交平臺上瀏覽到一些網(wǎng)友發(fā)布AI變裝視頻，通過視頻下方小程序鏈接進(jìn)入后，按要求上傳三張本人面部清晰的照片；系統(tǒng)經(jīng)過十幾分鐘的AI合成，便生成了軍裝變裝視頻。這期間，平臺和小程序并未要求上傳身份證明信息，也沒有給出不得將合成視頻用于違法違規(guī)領(lǐng)域的提示。

9月1日起施行的《人工智能生成合成內(nèi)容標(biāo)識辦法》要求AI合成內(nèi)容必須明確標(biāo)注，但記者在使用多款A(yù)I換裝應(yīng)用后發(fā)現(xiàn)，用戶合成發(fā)布的視頻并未標(biāo)注，容易讓人產(chǎn)生混淆。

AI變裝技術(shù)，降低了偽造身份的技術(shù)門檻。在某購物平臺上，記者以“AI+軍裝照”為關(guān)鍵詞，搜索到有商家公開出售佩戴軍銜的各軍種和警察服裝模板素材。店家表示，只需要花不到一元錢的價格就可拍下所有這些素材。

記者拍下后，店家很快發(fā)來一個網(wǎng)盤鏈接，內(nèi)部有數(shù)十款供P圖的軍裝模板文件，用戶可根據(jù)需要的款式和級別，通過PS或AI等方式將自己的頭部肖像替換上去。記者嘗試將AI生成的軍裝照和肖像照用于多款社交平臺賬號，發(fā)現(xiàn)并無審核難度，均可正常替換。

北京市煒衡律師事務(wù)所律師汪高峰說，一些內(nèi)容平臺和第三方軟件疏于審核，縱容虛假內(nèi)容傳播，可能會降低公眾對軍人、警察職業(yè)的信任度和敬畏感。

江蘇省政府參事室特約研究員丁宏表示，AI降低了偽造身份的技術(shù)門檻，網(wǎng)絡(luò)上曾出現(xiàn)AI合成的警察抓人視頻并配上所謂警情通報，涉嫌傳播違法有害信息。這些內(nèi)容可能誤導(dǎo)公眾，引發(fā)不必要恐慌，擾亂正常社會秩序。

國家網(wǎng)信辦不久前發(fā)布了一起執(zhí)法典型案例：浙江某公司運營的App提供視頻換臉、圖片換臉、照片舞動配音等圖片處理功能，用戶可對上傳圖片、視頻中的人物進(jìn)行換臉，但未按規(guī)定落實安全評估要求，相關(guān)深度合成內(nèi)容也未作顯著標(biāo)識，存在較大安全風(fēng)險，違反《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等規(guī)定。網(wǎng)信部門責(zé)令平臺對該App予以下架處置。

加強(qiáng)審查審核 防止濫用“AI換裝”

《人工智能生成合成內(nèi)容標(biāo)識辦法》明確，服務(wù)提供者提供生成合成內(nèi)容下載、復(fù)制、導(dǎo)出等功能時，應(yīng)當(dāng)確保文件中含有滿足要求的顯式標(biāo)識；任何組織和個人不得惡意刪除、篡改、偽造、隱匿辦法規(guī)定的生成合成內(nèi)容標(biāo)識。

國家網(wǎng)信辦等十部門今年印發(fā)的《互聯(lián)網(wǎng)軍事信息傳播管理辦法》規(guī)定，互聯(lián)網(wǎng)軍事信息服務(wù)提供者和用戶使用深度合成、生成式人工智能等新技術(shù)新應(yīng)用，不得損害人民軍隊形象。

汪高峰等法律人士建議，AI開發(fā)者在算法設(shè)計中應(yīng)加強(qiáng)合規(guī)性審查，對警察和軍隊標(biāo)識等敏感信息內(nèi)容的使用，應(yīng)在相關(guān)部門指導(dǎo)下，嚴(yán)格把關(guān)審核。平臺方應(yīng)該嚴(yán)格落實《人工智能生成合成內(nèi)容標(biāo)識辦法》，對“AI換裝”類產(chǎn)品添加明顯標(biāo)識，并建立審核機(jī)制，對違規(guī)內(nèi)容及時下架封禁。

丁宏建議，加快相關(guān)立法進(jìn)程，強(qiáng)化刑事司法銜接。相關(guān)部門盡快明確AI涉軍涉警等圖像的使用邊界、責(zé)任劃分及法律后果，特別是對刻意丑化軍人警察形象、借機(jī)實施招搖撞騙等行為，要依法依規(guī)嚴(yán)肅處理，形成法律震懾；對可能影響國家安全、造成社會危害的行為，追究AI工具開發(fā)者和內(nèi)容平臺的連帶責(zé)任。

馬國建呼吁，提高公眾對軍人、警察等職業(yè)形象重要性的認(rèn)識，普及相關(guān)知識，引導(dǎo)公眾自覺抵制、檢舉錯誤內(nèi)容、違規(guī)應(yīng)用。加強(qiáng)AI生成合成內(nèi)容標(biāo)識方法的宣傳推廣，降低公眾被欺騙、誤導(dǎo)的風(fēng)險。