文章來(lái)源：AIGC開(kāi)放社區(qū)
目前，多數(shù)文生圖模型皆使用的是隨機(jī)采樣模式，使得每次生成的圖像效果皆不同，在生成連貫的圖像方面非常差。
例如，想通過(guò)AI生成一套圖像連環(huán)畫(huà)，即便使用同類(lèi)的提示詞也很難實(shí)現(xiàn)。雖然DALL·E 3和Midjourney可以對(duì)圖像實(shí)現(xiàn)連貫的生成控制，但這兩個(gè)產(chǎn)品都是閉源的。
因此，英偉達(dá)和特拉維夫大學(xué)的研究人員開(kāi)發(fā)了免訓(xùn)練一致性連貫文生圖模型——ConsiStory。（即將開(kāi)源）
論文地址：https://arxiv.org/abs/2402.03286
目前，文生圖模型在生成內(nèi)容一致性方面比較差的原因主要有兩個(gè)：1）無(wú)法識(shí)別和定位圖像中的共同主體，文生圖像模型沒(méi)有內(nèi)置的對(duì)象檢測(cè)或分割模塊,很難自動(dòng)識(shí)別不同圖像中的相同主體；
2）無(wú)法在不同圖像中保持主體的視覺(jué)一致性，即使定位到主體,也很難使不同步驟中獨(dú)立生成的主體在細(xì)節(jié)上保持高度相似。
主流解決這兩種難題的方法是，基于個(gè)性化和編碼器的優(yōu)化方法。但這兩類(lèi)方法都需要額外的訓(xùn)練流程，例如，針對(duì)特定主體微調(diào)模型參數(shù),或使用目標(biāo)圖像訓(xùn)練編碼器作為條件。
即便使用了這種優(yōu)化方法，訓(xùn)練周期較長(zhǎng)難以擴(kuò)展到多個(gè)主體,且容易與原始模型分布偏離。
而ConsiStory提出了一種全新的方法，通過(guò)共享和調(diào)整模型內(nèi)部表示,可以在無(wú)需任何訓(xùn)練或調(diào)優(yōu)的情況下實(shí)現(xiàn)主體的一致性。
值得一提的是，ConsiStory可以作為一種插件，幫助其他擴(kuò)散模型提升文生圖的一致性和連貫性。
主體驅(qū)動(dòng)自注意力（SDSA）
SDSA是ConsiStory的核心模塊之一，可以在生成的圖像批次中共享主體相關(guān)的視覺(jué)信息,使不同圖像中的主體保持一致的外觀。
SDSA主要擴(kuò)大了擴(kuò)散模型中自注意力層,允許一個(gè)圖像中的“提示詞”不僅可以關(guān)注自己圖像的輸出結(jié)果,還可以關(guān)注批次中其他圖像的主體區(qū)域的輸出結(jié)果。
這樣主體的視覺(jué)特征就可以在整個(gè)批次中共享,不同圖像中的主體互相"對(duì)齊"。
為了防止背景區(qū)域之間的敏感信息泄露,該模塊使用主體分割蒙版來(lái)進(jìn)行遮蔽——每個(gè)圖像只能關(guān)注批次中其他圖像主體區(qū)域的輸出結(jié)果。
主體蒙版是通過(guò)擴(kuò)散模型本身的交叉注意力特征自動(dòng)提取。
特征注入
為了進(jìn)一步增強(qiáng)主體不同圖像之間細(xì)節(jié)層面的一致性，“特征注入”基于擴(kuò)散特征空間建立的密集對(duì)應(yīng)圖，可以在圖像之間共享自注意力輸出特征。
同時(shí)圖像中一些相似的優(yōu)化地方之間共享自注意力特征，這可以有效確保主體相關(guān)的紋理、顏色等細(xì)節(jié)特征在整個(gè)批次中互相"對(duì)齊"。
特征注入也使用主體蒙版進(jìn)行遮蔽,只在主體區(qū)域執(zhí)行特征共享。同時(shí)還設(shè)置相似度閾值,只在足夠相似的優(yōu)化之間執(zhí)行。
錨圖像和可重用主體
ConsiStory中的錨圖像提供了主題信息的參考功能，主要用于引導(dǎo)圖像生成過(guò)程，確保生成的圖像在主題上保持一致。
錨圖像可以是用戶(hù)提供的圖像，也可以是從其他來(lái)源獲取的相關(guān)圖像。在生成過(guò)程中，模型會(huì)參考錨圖像的特征和結(jié)構(gòu)，并盡可能地生成與一致性的圖像。
可重用主體是通過(guò)共享預(yù)訓(xùn)練模型的內(nèi)部激活，來(lái)實(shí)現(xiàn)主題一致性的方法。在圖像生成過(guò)程中，模型會(huì)利用預(yù)訓(xùn)練模型的內(nèi)部特征表示來(lái)對(duì)生成的圖像進(jìn)行對(duì)齊，而無(wú)需進(jìn)一步對(duì)齊外部來(lái)源的圖像。
也就是說(shuō)生成的圖像可以相互關(guān)注、共享特征，這使得ConsiStory實(shí)現(xiàn)了0訓(xùn)練成本，避免了傳統(tǒng)方法中需要針對(duì)每個(gè)主題進(jìn)行訓(xùn)練的難題。
