聲明:本文來自于微信公眾號(hào) 量子位（ID:QbitAI），作者:蕭簫，授權(quán)站長(zhǎng)之家轉(zhuǎn)載發(fā)布。
(資料圖片僅供參考)
一組神秘的“虛擬老婆”照片，最近在國內(nèi)外社交媒體上傳瘋了。
怎么回事?
試著用手機(jī)掃一下，就能發(fā)現(xiàn)其中的玄機(jī)——
原來這些看起來頗為自然的照片，都是藏了二維碼的圖像。它們不僅能被手機(jī)相機(jī)識(shí)別，跳轉(zhuǎn)的網(wǎng)站還都是有效的:
從推特到Reddit，每隔幾條就能刷出這些二維碼照片，下面全是一片“竟然掃出來了”的驚嘆聲。
最關(guān)鍵的是，這些照片并非手動(dòng)繪制，而是用Stable Diffusion生成的，背后再一次加持了神奇的ControlNet魔法。
生成的二維碼圖像風(fēng)格，也遠(yuǎn)非只有二次元虛擬人像這一種，一起來看看~
8種圖像風(fēng)格任意可選
除了上述的二次元插（lao）畫(po)風(fēng)格以外，作者們還展示了另外8種二維碼圖像的生成效果。
這是立體風(fēng)格的二維碼圖像，看起來就像一張真正的城市照片一般:
有網(wǎng)友感嘆，簡(jiǎn)直可以在物理世界中構(gòu)造一個(gè)真的二維碼城市了:
甚至它只能在特定的地點(diǎn)、特定的日子、特定的時(shí)間被掃出來，有尋寶游戲內(nèi)味了。
這類立體作品不僅細(xì)節(jié)可控（如更多的草木植被），還可以改變風(fēng)格，生成更具機(jī)械感的科幻二維碼圖像:
3D城市看得不過癮，還有2D抽象風(fēng)格的作品，數(shù)據(jù)都藏在小房子里了:
除此之外，二維碼還能被融入中國傳統(tǒng)紋樣風(fēng)格中，或是被巧妙放置在瓷器或壁畫一類的裝飾物里:
更具藝術(shù)性的水墨風(fēng)格也能hold住，無縫銜接畫作筆跡:
又或是這種水彩風(fēng)格的畫作:
日式的浮世繪風(fēng)格也沒問題:
還能嵌進(jìn)PCB風(fēng)格圖像里，以后電路板要找售后，直接掃碼就行（doge）:
顯然，除了二維碼圖像可控，模型就連插畫風(fēng)格都能很好地控制。
這背后究竟是依靠什么技術(shù)實(shí)現(xiàn)的?
LoRA和ControlNet齊出動(dòng)
要想實(shí)現(xiàn)這種圖像風(fēng)格+二維碼可控的效果，需要Stable Diffusion結(jié)合LoRA和ControlNet一起實(shí)現(xiàn)。
其中，LoRA負(fù)責(zé)控制整體的圖像風(fēng)格，ControlNet則負(fù)責(zé)確保二維碼“放進(jìn)”了圖像中。
LoRA全稱Low-Rank Adaptation of Large Language Models，能很好地實(shí)現(xiàn)少樣本學(xué)習(xí)，從而對(duì)Stable Diffusion的圖像風(fēng)格生成進(jìn)行更精準(zhǔn)的控制。
換而言之，最少只需要幾十張同種風(fēng)格的圖片，就能訓(xùn)練一個(gè)LoRA，用來調(diào)教Stable Diffusion生成的效果。
目前，比較有特色的如中國傳統(tǒng)風(fēng)格和浮世繪風(fēng)格的圖像，作者們都已經(jīng)在Civitai和Hugging Face等平臺(tái)上開源了對(duì)應(yīng)的LoRA模型。
像浮世繪風(fēng)格LoRA模型，就已經(jīng)可以在Civitai上直接下載:
訓(xùn)練這樣一個(gè)浮世繪風(fēng)格的LoRA模型，并不需要很多照片，像這個(gè)模型就只用了46幅葛飾北齋《富岳三十六景（追加十景）》的浮世繪。
風(fēng)格變化更加多樣的，如生成不同中國傳統(tǒng)紋樣的圖片，也只需要近百張圖片訓(xùn)練:
就可以得到能畫出不同紋樣的LoRA模型:
QR Code ControlNet則是作者們新訓(xùn)練的一個(gè)二維碼圖像生成專用ControlNet模型，目前還在不斷優(yōu)化中。
作者們嘗試了不同的Stable Diffusion Checkpoint、LoRA和QR Code ControlNet的組合，生成了上面這些二維碼圖像的效果。
值得一提的是，結(jié)合最近的PS新出的Generative Fill功能，這些二維碼還能被很好地嵌進(jìn)一大塊AI生成圖像中:
有網(wǎng)友調(diào)侃，未來就連廣告也會(huì)變得更好看了。
作者介紹
制作這個(gè)二維碼生成項(xiàng)目的作者一共有四位，分別來自中國傳媒大學(xué)和北京航空航天大學(xué)。
其中，倪豪和陳柏宇是中國傳媒大學(xué)大四本科生，王照涵是中國傳媒大學(xué)一年級(jí)研究生，陳智勇是北京航空航天大學(xué)大四本科生。
在這次的AI二維碼圖像生成項(xiàng)目前，倪豪和陳智勇就已經(jīng)做出過一個(gè)參數(shù)化二維碼生成器，不過主要采用的還是圖形學(xué)方面的技術(shù)。
據(jù)倪豪介紹，他們之前的研究方向主要集中在圖形學(xué)和交互藝術(shù)上，隨著這段時(shí)間AIGC爆火，團(tuán)隊(duì)也對(duì)這方面的技術(shù)產(chǎn)生了興趣。
這段時(shí)間里，他們開發(fā)了不少不同風(fēng)格的LoRA模型，以及可控制光影的ControNet等，目前模型也都已經(jīng)放在Civitai上。
團(tuán)隊(duì)表示，目前這個(gè)二維碼圖像生成模型還在持續(xù)優(yōu)化中，后續(xù)如果有更多的進(jìn)展更新，也會(huì)同步到這個(gè)網(wǎng)站上。
可以碼住期待一波了~
團(tuán)隊(duì)已開發(fā)的AI模型:
https://aigc.ioclab.com/index.html
