媽媽不在身邊的第X個母親節,用AI找回她的美好時光
本文轉載自微信公眾號大資料文摘(ID:BigDataDigest),作者:宋欣儀,如需轉載請聯絡文章作者
出門在外,是不是才覺得媽媽的嘮叨分外可愛又令人懷念。母親節到了,翻箱倒櫃想找出一張媽媽的老照片,卻因為早已泛黃褪色而觸碰不到回憶的訊號,記不得哪年哪月哪天,找不回那條曾經以為可以一直走都走不到盡頭的童年街巷。彎彎的月亮,搖在手裡的蒲扇,是回不去的流逝光陰,但能不能至少將這些回憶鐫刻在相片,然後緊緊攥在手裡?
最近影象修復大火,從網友們用小程式“你我當年”一鍵修復老照片到GitHub上的熱門專案“用機器學習給黑白照片上色”,我們似乎找到一個儲存記憶的良方。
GitHub上給老照片上色的一個專案:DeOldify
歲月從牆上剝落,小時候牽著媽媽的手哭著鬧著要買的那根冰棍,你還記得它的顏色嗎?用DeOldify給黑白照片上色,嘗試拼湊出曾經的家庭生活的歡樂色彩,也找回曾經的家庭時光的溫度。
▲感恩節的回憶(1911年)
▲Lemuel Smith夫婦和年幼的孩子們在農場的家庭時光(1941年)
假如母愛有顏色,假如思念有形狀,它不應該是黑白而模糊的。回憶應該是在明朗的月光下,沿著夏夜的風爬上家門口的梧桐,然後輕輕敲打我的窗臺。
▲給老電影《黑暗中的舞者》上色
《黑暗中的舞者》講述一個母親來到美國為了治癒失明的13歲兒子,甘願自己被捕入獄,並且最後被判死刑。當死亡就在眼前時,巨大的恐懼和強烈的求生欲讓她嘶叫嚎哭,只有朋友告訴她兒子手術成功,不會失明時,才讓她鎮定下來,驚恐無助的女孩又迴歸成為了從容的母親。是非常適合母親節觀看的一部影片。
這是影片最後行刑前比約克對兒子說的話:
親愛的兒子俊,別害怕,我從不孤單,這不是最後一首歌,沒有小提琴,合唱團那麼安靜,沒人轉圈。這是倒數第二首歌,記得我說過的話,把麵包包好,把床鋪好。
大火的小程式“你我當年”
網友用小程式“你我當年”還原女星模糊照片後的美貌:
▲林青霞修復後的照片
我的媽媽可能有點普通,有時候還有點市儈。我們說“為母則剛”,但她當年也只是一個被捧在手心裡的小公主。快拿媽媽年輕時候的照片也試一下,看一看她當年的風采。
影象修復技術一覽AI修復官:記憶不再模糊
“你我當年”運用主要是CNN、GAN等AI技術,即卷積神經網路和生成式對抗網路”,讓人想到美圖秀秀的一鍵磨皮,它們雖然都利用了卷積神經網路,但二者並不一樣。美顏軟體中常見的磨皮功能是做減法,將照片去掉細節,做模糊處理。常用的磨皮演算法包括均值模糊、高斯模糊、中值濾波等,它們的去噪效果好,但視覺效果差。而你我當年是做加法,可以自動補充細節,即利用AI演算法替代影象中缺失或者損壞的資料。
▲AI修復的大小S照片在網上引起驚歎
影象修復一般用“擴散”的方法來處理,這種方法將區域性結構應用到其他部分。或者用“示例”的方法,每一次構建缺失部分的一個畫素點(塊)保持和周圍畫素點的一致性。但是當缺失部分很大時,這些方法會失效,因此就需要運用機器學習。由一個高階模型提供補充的資訊,例如深度神經網路。
深度神經網路使用監督影象分類,在監督影象分類中,每個影象都有一個特定的標籤,神經網路通過一連串的基本操作運算來學習影象到標籤之間的對映。通過輸入學習大量的資料集(數百萬張帶有成千個的標籤的影象),神經網路可以實現準確的分類,實施一個判別式預訓練的神經網路來指導影象重建。
原理類似訓練一個機器人,讓其對缺失資訊很多的圖進行“腦補”;同時找來一個“鑑定師”提出意見,讓機器不斷鑽研,雙方不斷提升。
AI上色師:老照片重見光彩
同樣地,訓練有素的AI可以學會上色,生成對抗網路的本質還是學習損失函式。通過先對照片進行影象分割,AI可以區分出標誌性物體,認出影象中的各種元素,比如樹木、天空、人臉、服裝……在輸入大量包含常見場景和人物的圖片後,AI會自動學習和記憶這些關鍵資訊的顏色,比如樹葉是綠色、人臉是膚色等。因此,它可以很快開始對黑白照片裡的場景進行彩色化,填補缺失色彩。
而更進一步地,AI正在逐步從靜態照片進軍動態效果,近日,在Facebook的F8大會上,一個名為Jason Antic軟體工程師展示了用DeOldify為老電影上色,效果非常驚豔。
▲電影《Reefer Madness》1936
DeOldify的深度學習模型借鑑了當前多種主流技術方法,包括:自注意生成對抗網路(Self-Attention Generative Adversarial Network)、兩個時間尺度更新規則(Two Time-Scale Update Rule)以及最重要的——NoGAN——他開發的一種新型GAN訓練模型,用來解決之前DeOldify模型中出現的一些關鍵問題。NoGAN訓練結合了GAN訓練的優點(絢爛的色彩),並消除了一些副作用(如視訊中閃爍的物體)。
GitHub地址 :https://github.com/jantic/DeOldify/blob/master/README.md
上色體驗地址 :https://colorize.cc/
話說回來,今天母親節,給媽媽打個電話,然後把媽媽的畫像牢牢印在腦海吧。當然照片只是輔助,有些事還是要握在手心,刻在心頭。