CMAvatar3.0首發(fā)！青瞳視覺攜原力重新定義AI動(dòng)捕
在數(shù)字娛樂內(nèi)容創(chuàng)作領(lǐng)域，動(dòng)作捕捉技術(shù)已成為影視、游戲及動(dòng)畫制作的核心生產(chǎn)力工具。
近年來，這一領(lǐng)域內(nèi)已涌現(xiàn)出眾多現(xiàn)象級(jí)作品，背后離不開動(dòng)捕技術(shù)的強(qiáng)力支撐，無論是通過青瞳視覺動(dòng)作捕捉技術(shù)賦能的國產(chǎn)3A大作《影之刃零》，還是助力原力打造的國內(nèi)首部采用"真人動(dòng)捕+實(shí)時(shí)渲染"技術(shù)的動(dòng)畫作品《凡人修仙傳》，這一技術(shù)作為創(chuàng)意產(chǎn)業(yè)的核心支撐，既是效率加速器，更是連接科技與創(chuàng)意的關(guān)鍵橋梁。
但長久以來，從數(shù)據(jù)采集到最終成片的動(dòng)捕過程中，耗時(shí)以天計(jì)的解算流程、無法避免的人工修正、動(dòng)捕過程中由于遮擋錯(cuò)失的標(biāo)記點(diǎn)信息等痛點(diǎn)，像枷鎖般禁錮著動(dòng)捕效率。
去年5月，原力推出自研的基于神經(jīng)網(wǎng)絡(luò)的動(dòng)作捕捉解算系統(tǒng)DeepMocap，以海量的實(shí)際生產(chǎn)動(dòng)作捕捉數(shù)據(jù)為基礎(chǔ)，并對(duì)動(dòng)捕數(shù)據(jù)進(jìn)行了符合先驗(yàn)分布的數(shù)據(jù)增強(qiáng)作為訓(xùn)練數(shù)據(jù)集，由此實(shí)現(xiàn)在不完美甚至錯(cuò)誤marker標(biāo)記點(diǎn)信息下解算出正確的骨骼動(dòng)畫數(shù)據(jù)的效果，大幅提升動(dòng)捕解算效率，減少人工修正成本。時(shí)隔一年，原力將該技術(shù)進(jìn)一步打磨升級(jí)，發(fā)布全新的Kenitiq AI解算器，顛覆性提升行業(yè)效率、解決多項(xiàng)傳統(tǒng)動(dòng)作捕捉流程痛點(diǎn)！
CMAvatar全新升級(jí)！動(dòng)捕不再是“慢工出細(xì)活”
全新升級(jí)版CMAvatar3.0正式發(fā)布！青瞳視覺再次與原力展開深度合作，通過把原力數(shù)字自研的Kinetiq AI解算器獨(dú)家集成到青瞳的CMAvatar動(dòng)捕系統(tǒng)中，極大地提升了動(dòng)捕解算效率，減少人工修正成本，解決多項(xiàng)傳統(tǒng)動(dòng)作捕捉流程痛點(diǎn)，讓使用者的動(dòng)捕體驗(yàn)與動(dòng)捕效率大大提升。
相較于CMAvatar2.0動(dòng)捕系統(tǒng)，Kinetiq AI解算器擁有諸多優(yōu)勢：
1.更 “聰明” ：標(biāo)記點(diǎn)掉了、被擋住了、標(biāo)錯(cuò)位置了……傳統(tǒng)解算系統(tǒng)應(yīng)付不了的，Kinetiq都能解決；
2.更 “省事” ：集成的Kinetiq擁有“超高智能”，對(duì)骨骼動(dòng)畫數(shù)據(jù)的解算又快又準(zhǔn)，幾乎無需人工再次矯正；
3.更 “靈活” ：Kinetiq擁有2種集成模式和2種解算模式，可以靈活適配不同的使用情況和需求；
4. ……
（開啟Kinetiq解算器前后效果對(duì)比）
青瞳視覺&原力數(shù)字科技
強(qiáng)強(qiáng)聯(lián)手，打造頂尖動(dòng)捕數(shù)據(jù)處理流程
作為全球光學(xué)動(dòng)捕領(lǐng)域頭部服務(wù)商，憑借深厚的技術(shù)積累和豐富的行業(yè)經(jīng)驗(yàn)，青瞳視覺攜手行業(yè)領(lǐng)軍者原力數(shù)字科技，深度合作共同探索光學(xué)動(dòng)作捕捉技術(shù)的新范式。經(jīng)過兩年多的不懈努力與技術(shù)攻堅(jiān)，成功將Kinetiq AI解算器無縫集成至CMAvatar 3.0，不僅延續(xù)了高精度動(dòng)捕數(shù)據(jù)處理的優(yōu)勢，更突破性地解決了傳統(tǒng)流程中的多項(xiàng)痛點(diǎn)，為用戶帶來前所未有的動(dòng)捕體驗(yàn)，大幅提升動(dòng)捕效率，為行業(yè)樹立了新的標(biāo)桿。
AI 解算器 Kinetiq 具備2種可靈活適配的集成模式，為不同動(dòng)捕場景打造定制化解決方案。
模式一：從Marker點(diǎn)云到骨骼數(shù)據(jù)的全流程解算|專攻復(fù)雜場景
針對(duì)標(biāo)記點(diǎn)易混淆或遮擋的復(fù)雜場景， Kinetiq AI 解算器可以提供強(qiáng)大的全流程自動(dòng)化處理模式。
在青瞳視覺的光學(xué)攝像頭快速采集并重建動(dòng)捕演員身上的原始 未標(biāo)注3D 標(biāo)記點(diǎn)后，無需人工操作，藝術(shù)家可以直接將這些未處理的標(biāo)記點(diǎn)輸入 Kinetiq AI解算器。解算器會(huì)依次完成兩項(xiàng)核心任務(wù)：
先通過神經(jīng)網(wǎng)絡(luò)化身 “智能標(biāo)注員”，自動(dòng)識(shí)別并標(biāo)注每個(gè) 3D 點(diǎn)對(duì)應(yīng)的身體部位（如判斷某個(gè)點(diǎn)對(duì)應(yīng)的是 “左手腕” 還是 “右膝蓋”），以更高效的AI計(jì)算替代傳統(tǒng)流程中耗時(shí)的人工標(biāo)注環(huán)節(jié)；隨后，基于智能標(biāo)注過的標(biāo)記點(diǎn)，解算骨骼關(guān)節(jié)的旋轉(zhuǎn)、位移數(shù)據(jù)等，最終輸出流暢自然的動(dòng)作動(dòng)畫。
采用此模式的CMAvatar 3.0優(yōu)勢在于，從數(shù)據(jù)采集到動(dòng)作生成，全程幾乎無需人工干預(yù)，即使在武打戲肢體交疊、舞蹈高速旋轉(zhuǎn)等極端場景下，也能憑借 AI 的智能處理能力穩(wěn)定輸出可用數(shù)據(jù)。
（ 被遮擋情況下Kinetiq AI解算器仍能準(zhǔn)確解算）
模式二：比傳統(tǒng)優(yōu)化算法更加準(zhǔn)確的骨骼解算|分工增速提效
當(dāng)經(jīng)典動(dòng)捕流程提供高質(zhì)量的標(biāo)記點(diǎn)識(shí)別結(jié)果時(shí)，AI 解算器 Kinetiq 則化身 “高效解算引擎”，專注于骨骼運(yùn)動(dòng)學(xué)解算的核心環(huán)節(jié)。
在經(jīng)典動(dòng)捕流程完成對(duì)3D標(biāo)記點(diǎn)的預(yù)標(biāo)注后，藝術(shù)家即可將標(biāo)注后的數(shù)據(jù)輸入AI解算器 Kinetiq 。Kinetiq 解算器對(duì)于標(biāo)注數(shù)據(jù)的深度理解與優(yōu)化能力，讓它不僅可以接受自身處理的標(biāo)記數(shù)據(jù)，也能充分適應(yīng)不同數(shù)據(jù)來源的標(biāo)記，大大增強(qiáng)了實(shí)際應(yīng)用中的普適性和可操作性。
此時(shí)解算器只需專注于骨骼運(yùn)動(dòng)學(xué)解算這一核心環(huán)節(jié)，可以集中算力，全力運(yùn)行，將計(jì)算資源集中于關(guān)節(jié)旋轉(zhuǎn)、位移數(shù)據(jù)的精準(zhǔn)解算。
這種分工協(xié)作、專注單一流程的模式大幅降低了AI解算器的計(jì)算負(fù)擔(dān)，讓解算效率進(jìn)一步提升，尤其適合單人簡單動(dòng)作捕捉或?qū)?shí)時(shí)性要求極高的場景。
注：采用此方案時(shí)，需要確保標(biāo)記點(diǎn)標(biāo)注的高度準(zhǔn)確性，避免將錯(cuò)誤傳遞至后續(xù)解算。
（Kinetiq 實(shí)時(shí)解算，無懼復(fù)雜場景及遮擋）
通過 “全流程智能” 與 “精準(zhǔn)分工” 的有機(jī)結(jié)合，集成了Kinetiq AI解算器的CMAvatar3.0成功構(gòu)建起幾乎可覆蓋全應(yīng)用場景的動(dòng)捕數(shù)據(jù)處理流程。兩種集成模式相輔相成，充分考慮落地情況，能夠更合理地應(yīng)對(duì)實(shí)際生產(chǎn)過程中的不同情況，共同打造出更高智能、高效率、高質(zhì)量的行業(yè)領(lǐng)先的動(dòng)捕實(shí)時(shí)解算工具。
擺脫傳統(tǒng)動(dòng)捕痛點(diǎn)
顛覆突破，Kinetiq AI解算器打造行業(yè)新標(biāo)
為了更好地適應(yīng)不同實(shí)踐情況，Kinetiq 解算器還提供了兩套專業(yè)解算模式：實(shí)時(shí)解算模式和后處理解算模式。
實(shí)時(shí)解算模式在marker標(biāo)記點(diǎn)丟失或者錯(cuò)誤標(biāo)注時(shí)，仍可以解算出合理的骨骼位置，方便拍攝人員查看實(shí)時(shí)效果。且隨著訓(xùn)練數(shù)據(jù)集的不斷擴(kuò)大，神經(jīng)網(wǎng)絡(luò)能夠持續(xù)迭代優(yōu)化最終的解算效果。
后處理解算模式則能夠充分利用前后幀數(shù)據(jù)信息，進(jìn)一步提升解算結(jié)果的準(zhǔn)確性，大幅減少動(dòng)捕拍攝人員需要逐幀修復(fù)marker標(biāo)記點(diǎn)數(shù)據(jù)來生成合理骨骼動(dòng)畫數(shù)據(jù)的工作量。
[骨骼解算結(jié)果對(duì)比]
CMAvatar2.0解算結(jié)果中存在大量錯(cuò)誤標(biāo)記點(diǎn)（紅色部分），動(dòng)作出現(xiàn)變形、移位。
集成了Kinetiq AI解算器的CMAvatar3.0則能完美解算出正確動(dòng)畫，無需后期修復(fù)。
可以看出，相較CMAvatar2.0，Kinetiq AI解算器加持的CMAvatar3.0能夠很好地處理marker標(biāo)記點(diǎn)不準(zhǔn)確甚至錯(cuò)誤的情況。
比如動(dòng)捕演員在做復(fù)雜動(dòng)作或多人交互表演時(shí)，標(biāo)記點(diǎn)幾乎不可避免地貼近甚至在鏡頭里“重合”或被遮擋，沒有配備“AI大腦”的傳統(tǒng)流程無法應(yīng)付這類場景，只能生成凝滯甚至亂晃的錯(cuò)誤解算動(dòng)畫，必須依靠人力進(jìn)行修復(fù)和矯正。
而CMAvatar3.0憑借Kinetiq AI解算器強(qiáng)大的解算機(jī)制，則能通過“智慧”完美地解算出正確的骨骼動(dòng)畫數(shù)據(jù)，讓傳統(tǒng)的動(dòng)捕解算流程從“系統(tǒng)輔助，依賴人工”徹底顛覆，走向“AI 全自動(dòng)解算”的新時(shí)代。
除了減少人工標(biāo)記和校準(zhǔn)時(shí)間，提升解算效率，Kinetiq AI解算器在數(shù)據(jù)處理流程、環(huán)境適應(yīng)性、遮擋處理等方面均有不同程度的提升，解決傳統(tǒng)流程中多項(xiàng)痛點(diǎn)。
無論是效率、質(zhì)量還是穩(wěn)定性，Kinetiq AI解算器都為動(dòng)捕相關(guān)的生產(chǎn)需求提供了更加完美的選擇。
[CMAvatar2.0 VS 集成Kinetiq AI解算器的CMAvatar3.0]
●數(shù)據(jù)處理流程：CMAvatar2.0數(shù)據(jù)依賴人工處理，藝術(shù)家要花費(fèi)大量時(shí)間進(jìn)行校準(zhǔn)、標(biāo)記點(diǎn)追蹤和后期手動(dòng)修復(fù)；得益于Kinetiq AI解算器神經(jīng)網(wǎng)絡(luò)的端到端處理能力，CMAvatar3.0可以實(shí)現(xiàn)自動(dòng)化解算，既節(jié)省人工成本，也能節(jié)省大量校準(zhǔn)時(shí)間。
●環(huán)境適應(yīng)性：CMAvatar2.0對(duì)光照已有優(yōu)秀的抗干擾處理能力，但在特殊場景下仍可能會(huì)出現(xiàn)部分干擾情況；而集成Kinetiq AI解算器的CMAvatar3.0大幅提升抗光照干擾能力，能夠充分適應(yīng)各種復(fù)雜環(huán)境。
●遮擋處理：CMAvatar2.0的標(biāo)記點(diǎn)一旦遇到遮擋，會(huì)有概率出現(xiàn)丟失數(shù)據(jù)的情況，需要花費(fèi)大量的人力和時(shí)間進(jìn)行人工補(bǔ)幀；而 Kinetiq AI解算器可以通過神經(jīng)網(wǎng)絡(luò)預(yù)測遮擋部位運(yùn)動(dòng)，讓CMAvatar3.0魯棒性顯著提升。
注：魯棒性，即robustness 的音譯，總體來說其可以用于反映一個(gè)系統(tǒng)在面臨著內(nèi)部結(jié)構(gòu)或外部環(huán)境的改變時(shí)也能夠維持其功能穩(wěn)定運(yùn)行的能力。
（kinetiq解算器與非AI解算器效果對(duì)比-撞墻測試）
（kinetiq解算器與非AI解算器效果對(duì)比-交纏測試）
將骨骼解算結(jié)果重疊對(duì)比，我們可以很直觀地看到，集成了 Kinetiq 解算器的CMAvatar3.0能準(zhǔn)確地解算出演員被遮擋或身體重疊時(shí)的動(dòng)作數(shù)據(jù)，而CMAvatar2.0則會(huì)讓演員的動(dòng)作“到處亂飛”，增加了大量的人工修正成本。
從依賴人工修正繁瑣數(shù)據(jù)的CMAvatar2.0，到AI自主解析實(shí)現(xiàn)全流程智能化的升級(jí)版系統(tǒng)，集成了 Kinetiq AI 解算器的CMAvatar3.0不僅為動(dòng)捕產(chǎn)業(yè)效率按下"快進(jìn)鍵"，更突破了傳統(tǒng)應(yīng)用邊界。此外，對(duì)于數(shù)字娛樂領(lǐng)域內(nèi)經(jīng)常出現(xiàn)的手指精細(xì)動(dòng)作、四足動(dòng)物以及多剛體型復(fù)雜道具的捕捉難題，CMAvatar3.0亦能為藝術(shù)家?guī)砀r(shí)、省力、省成本的暢快創(chuàng)作體驗(yàn)！
除Kinetiq AI 解算器外，原力數(shù)字的黑科技還有很多，目前正在通過強(qiáng)化學(xué)習(xí)開發(fā)精修工具，從而實(shí)現(xiàn)專業(yè)級(jí)數(shù)據(jù)修復(fù)，智能修正動(dòng)捕數(shù)據(jù)的細(xì)節(jié)瑕疵。期待未來，青瞳視覺能與原力展開更多深化合作，將更多尖端的AI技術(shù)融入到動(dòng)捕創(chuàng)作流程中，讓全球創(chuàng)作者都能實(shí)現(xiàn)更智能的藝術(shù)表達(dá)。
無論是影視作品中栩栩如生的角色演繹，游戲場景中流暢自然的互動(dòng)體驗(yàn)，還是虛擬數(shù)字人的真實(shí)情感表達(dá)，青瞳視覺的技術(shù)創(chuàng)新正重新定義數(shù)字內(nèi)容的生命力。
除數(shù)字娛樂外，無論您是從事具身智能、工程科研，還是虛擬現(xiàn)實(shí)、生命科學(xué)、教育等領(lǐng)域，我們都能提供專業(yè)的全棧式定制化解決方案，如您對(duì)我們的方案或產(chǎn)品感興趣，可在【青瞳視覺】官方微信進(jìn)行留言，或撥打電話15214312374（微信同號(hào)）進(jìn)行聯(lián)系，獲取專屬方案。青瞳視覺官網(wǎng) www.chingmu.com。
