【#區(qū)塊鏈# #可在圖像中生成任意精準(zhǔn)文本，支持中文！阿里開(kāi)源AnyText#】

來(lái)源：AIGC 開(kāi)放社區(qū)

圖片來(lái)源：由無(wú)界 AI生成

隨著Midjourney、Stable Difusion等產(chǎn)品的出現(xiàn)，文生圖像領(lǐng)域獲得了巨大突破。但是想在圖像中生成/嵌入精準(zhǔn)的文本卻比較困難。

經(jīng)常會(huì)出現(xiàn)模糊、莫名其妙或錯(cuò)誤的文本，尤其是對(duì)中文支持非常差，例如，生成一張印有“2024龍年吉祥”的春聯(lián)圖像，就連著名的文生圖模型都很難精準(zhǔn)生成。

由著名文生圖模型生成：圖像還行，提示詞根本理解不了嵌入圖像中的中文

為了解決這些難題阿里巴巴集團(tuán)的研究人員開(kāi)源了，多語(yǔ)言視覺(jué)文字生成與編輯模型——AnyText。

根據(jù)「AIGC開(kāi)放社區(qū)」的實(shí)際使用體驗(yàn)，AnyText對(duì)生成文字的把控可媲美專業(yè)PS，用戶可自定義規(guī)劃文字出現(xiàn)的位置，圖片的強(qiáng)度、力度、種子數(shù)等，目前在Github超2,400顆星非常受歡迎。

由AnyText生成，完美理解中文提示詞，同時(shí)可自定義文字出現(xiàn)的位置

值得一提的是，AnyText能以插件形式與其他開(kāi)源擴(kuò)散模型無(wú)縫集成，可全面強(qiáng)化其圖像嵌入精準(zhǔn)文本的能力。

開(kāi)源地址：https://github.com/tyxsspa/AnyText

論文地址：https://arxiv.org/abs/2311.03054

在線demo：https://huggingface.co/spaces/modelscope/AnyText

AnyText測(cè)試界面，直觀操作簡(jiǎn)單，可手動(dòng)調(diào)節(jié)各種參數(shù)

AnyText支持中文、日文、韓文、英語(yǔ)等多種語(yǔ)言，可幫助電商、廣告平面設(shè)計(jì)、電影制作、動(dòng)畫設(shè)計(jì)師、插畫師、網(wǎng)頁(yè)設(shè)計(jì)、UI設(shè)計(jì)師、數(shù)字營(yíng)銷等領(lǐng)域的人員，提供高精準(zhǔn)、自定義的文生圖像服務(wù)。

AnyText技術(shù)架構(gòu)

目前，開(kāi)源的擴(kuò)散模型在生成的圖像中嵌入精準(zhǔn)文本表現(xiàn)不佳，主要有3個(gè)原因：

1）缺乏包含全面文本內(nèi)容注釋的大規(guī)模圖像和文本配對(duì)數(shù)據(jù)集?，F(xiàn)有的大規(guī)模圖像擴(kuò)散模型的訓(xùn)練數(shù)據(jù)集，如LAION-5B，缺乏手動(dòng)注釋或文本內(nèi)容的OCR結(jié)果。

2）許多開(kāi)源擴(kuò)散模型使用的文本編碼器，如CLIP文本編碼器，采用基于詞匯的分詞器，無(wú)法直接訪問(wèn)字符級(jí)別的信息，導(dǎo)致對(duì)個(gè)別字符的敏感性降低。

3）大多數(shù)擴(kuò)散模型的損失函數(shù)旨在提高整體圖像生成質(zhì)量，缺乏對(duì)文本區(qū)域的專門監(jiān)督和優(yōu)化。

針對(duì)上述難題，阿里的研究人員開(kāi)發(fā)了AnyText模型和AnyWord-3M數(shù)據(jù)集。AnyText采用了文本控制的擴(kuò)散流程，包括兩個(gè)重要模塊：輔助潛變量和文本嵌入。

輔助潛變量模塊用于生成或編輯文本的潛在特征，作用是接受文本字形、位置和遮罩圖像等輸入，生成用于文本生成或編輯的潛在特征。

這些潛在特征在生成或編輯文本時(shí)起到輔助作用，幫助確保文本的準(zhǔn)確性和一致性。

輔助潛變量使得AnyText能夠在圖像中，生成或編輯曲線或不規(guī)則區(qū)域的文本。這也就是說(shuō)，即便想生成彎曲、不規(guī)則的字體也沒(méi)問(wèn)題！

文本嵌入模塊利用OCR模型將筆畫數(shù)據(jù)編碼為嵌入向量，并與標(biāo)記器生成的圖像標(biāo)題嵌入向量進(jìn)行融合，從而生成與背景無(wú)縫融合的文本。

為了提高書寫準(zhǔn)確性，研究團(tuán)隊(duì)采用了文本控制的擴(kuò)散損失和文本感知損失進(jìn)行訓(xùn)練。

提升圖像嵌入文本精準(zhǔn)度

為了進(jìn)一步提高生成文本的準(zhǔn)確性，AnyText采用了文本控制擴(kuò)散損失和文本感知損失進(jìn)行訓(xùn)練。

文本控制擴(kuò)散損失，用于控制生成的文本在指定位置和樣式上的準(zhǔn)確性。它通過(guò)比較生成文本與目標(biāo)文本之間的差異，促使模型生成更準(zhǔn)確、一致的文本。

文本感知損失，作用是進(jìn)一步增強(qiáng)生成文本的準(zhǔn)確性。它通過(guò)比較生成文本的特征表示與真實(shí)圖像中相應(yīng)區(qū)域的特征表示之間的差異，來(lái)衡量生成文本在視覺(jué)上的準(zhǔn)確性。

AnyWord-3M數(shù)據(jù)集

這個(gè)數(shù)據(jù)集是提升AnyText文本能力的重要部分，一共包含了300萬(wàn)個(gè)圖像-文本對(duì)，并提供了多種語(yǔ)言的OCR（光學(xué)字符識(shí)別）注釋。

AnyWord-3M中出現(xiàn)的文本行超過(guò)900萬(wàn)行,字符和詞匯數(shù)總量超過(guò)2億。文本涵蓋中文、英文、日文、韓文等語(yǔ)言。這是目前公開(kāi)的規(guī)模最大,也是第一個(gè)專門用于文本生成任務(wù)的多語(yǔ)種數(shù)據(jù)集。

主要包含的數(shù)據(jù)集：悟空數(shù)據(jù)集的中文部分，這是哩哩哩實(shí)驗(yàn)室構(gòu)建的數(shù)億級(jí)中文跨模態(tài)數(shù)據(jù)集。AnyWord-3M從中篩選出約154萬(wàn)張圖像。

LAION數(shù)據(jù)集的英文部分，由斯坦福大學(xué)等構(gòu)建的大規(guī)模英文圖像文字匹配數(shù)據(jù)集, AnyWord-3M選擇了其中約140萬(wàn)張圖像。

多個(gè)OCR識(shí)別數(shù)據(jù)集，包括文字定位和識(shí)別領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集ArT、COCO-Text、RCTW等,提供了約10萬(wàn)張帶標(biāo)注的文本圖像。

在獲取這些源數(shù)據(jù)之后,AnyText研究人員還設(shè)計(jì)了嚴(yán)格的過(guò)濾規(guī)則,對(duì)圖像和文本行進(jìn)行過(guò)濾,確保訓(xùn)練數(shù)據(jù)的質(zhì)量。

文本行過(guò)濾的規(guī)則非常細(xì)致,例如，文本行高最小30像素、文本識(shí)別置信度超過(guò)0.7等。

所以，AnyWord-3M吸取了多個(gè)數(shù)據(jù)集的精華中的精華，也是AnyText能力非常強(qiáng)悍的重要原因之一。