AniPortrait 是由騰訊游戲智跡團(tuán)隊研發(fā)的一款開源 AI 工具，旨在通過音頻和參考肖像圖像生成高質(zhì)量的動態(tài)視頻動畫。該項目的核心功能是將靜態(tài)肖像轉(zhuǎn)化為生動的動畫形象，同時支持音頻驅(qū)動的面部表情和頭部姿勢控制，使生成的動畫與輸入音頻同步，呈現(xiàn)出逼真的視覺效果。

• AniPortrait項目官網(wǎng)入口網(wǎng)址：https://github.com/Zejun-Yang/AniPortrait
• AniPortrait在線演示網(wǎng)址：https://huggingface.co/spaces/ZJYang/AniPortrait_official

AniPortrait 的工作流程分為兩個主要階段：首先是 Audio2Lmk（音頻到 2D 面部標(biāo)記點），該模塊從音頻中提取關(guān)鍵信息，包括面部表情和頭部姿態(tài)的 3D 網(wǎng)格和頭部姿態(tài)信息；其次是 Lmk2Video（2D 面部標(biāo)記點到視頻），該模塊利用提取的面部特征生成高質(zhì)量的動態(tài)視頻。此外，AniPortrait 還支持人臉重繪功能，允許用戶將照片中的人物替換到源視頻中，從而實現(xiàn)更加靈活的動畫創(chuàng)作。

AniPortrait 的技術(shù)特點包括：

• 音頻驅(qū)動的動畫合成：通過分析音頻中的語音節(jié)奏和音調(diào)，自動調(diào)整人物的面部表情和口型，使其能夠說話或唱歌。
• 高質(zhì)量的視覺效果：利用擴(kuò)散模型和運(yùn)動模塊，生成高分辨率、時間一致性的逼真動畫。
• 靈活的模型配置：用戶可以根據(jù)需求調(diào)整模型權(quán)重和配置參數(shù)，以實現(xiàn)個性化的動畫效果。
• 廣泛的應(yīng)用場景：適用于游戲開發(fā)、虛擬主播、社交媒體內(nèi)容創(chuàng)作、藝術(shù)創(chuàng)作等多個領(lǐng)域。

AniPortrait 的開源特性使其具有較高的靈活性和擴(kuò)展性。用戶可以通過 GitHub 獲取代碼并進(jìn)行定制開發(fā)，同時社區(qū)提供了詳細(xì)的文檔和支持，幫助新手快速上手。此外，AniPortrait 還支持多種語言，并且能夠適應(yīng)不同的硬件配置，進(jìn)一步提升了其普適性和實用性。

AniPortrait 是一個功能強(qiáng)大且靈活的 AI 動畫生成工具，能夠滿足用戶在動態(tài)視頻制作中的多樣化需求。無論是專業(yè)人士還是普通用戶，都可以通過 AniPortrait 創(chuàng)作出獨(dú)一無二的藝術(shù)作品或?qū)嵱脙?nèi)容。