<th id="p3tzd"></th><big id="p3tzd"><address id="p3tzd"></address></big>

                <span id="p3tzd"></span>

                <output id="p3tzd"></output>

                告別「攝像頭軍備競賽」,手機廠商換玩法了

                摘要

                手機廠商們得到了啟發:既然硬件不可能獲取媲美專業相機的照片,那缺失的那部分能不能讓 AI「猜」,讓算法「補」?

                10 年前,Instagram 之所以能爆火,原因之一是當時手機鏡頭太差,而濾鏡用美化掩蓋了前者的「無能」。10 年后,今非昔比。手機上的鏡頭越來越多,攝像模組越來越厚,傳感器甚至飆升至一億像素……但近幾年,手機廠商沒在「堆料」路上繼續狂奔。隨著手機空間和芯片工藝的限制,像素和傳感器尺寸的增速都在放緩。

                但實際上,「攝像頭軍備競賽」并沒有停止,廠商只是換了條賽道奔跑。

                自 2019 年起,「計算攝影」的概念在手機上興起。在手機這種力求便攜的設備上,鏡頭不可能做得太大,廠商干脆換了方向:既然從根上無法突破光學的物理限制,那就從「軟」入手,通過 AI 干預來改善攝影。簡單來說,就是原來硬件看不到的,AI 來告訴它都有什么。甚至,計算攝影在某些方面已經超越了傳統相機,它不只是為了接近后者。


                拍照不止于硬件

                最具代表性的是三年前的 Google Pixel 3,僅憑單攝就在變焦、夜景、虛化等功能上「吊打」友商。

                這都讓用戶開始意識到,「堆料」不一定能滿足拍攝需求。在一部不只單純為拍攝服務,且存儲空間有限的手機上,用戶是想拍出一張達到 1 億像素的照片嗎?相比「足夠大」,他們更需要的是「足夠好」——穩定,均衡,易用,能夠激發創作欲。

                手機不是傳統鏡頭,它的芯片處理能力是持續進化著的。這給了手機廠商們啟發:既然硬件不可能獲取媲美專業相機的照片,那缺失的那部分能不能讓 AI「猜」,讓算法「補」?

                那么,AI 在哪些方面改變了傳統的手機攝影?

                先以「超分辨率」為例,所謂的超分辨率,就是從一個低分辨率照片,變成了一個高分辨率照片,AI 靠「猜想」補充上了低分辨率照片沒有的細節。AI 是怎么擁有這種能力的?簡單來說,先拿出一張高分照片 A,然后故意「丟失」一些細節得到低分照片,繼而把它等比放大一張高分照片,接著進行一系列的特征提取得到一張有充分細節的高分照片 B,再將 B 和 A 比對,如果二者接近,則說明中間的參數調對了,這樣就把 AI 訓練好了。

                手機能夠進行大范圍的變焦,就歸功于超分辨率。圖片放大后,噪聲和抖動會非常大,有了這個功能,就能通過 AI 推理修正噪聲和抖動,讓圖片看起來更清楚。

                再說說夜景模式,用戶在夜晚拍照時,往往光線不足,噪聲明顯。這時如果想要進光量充足,就需要長曝光,但長曝光抖動造成的模糊就很明顯。曝光時間如果不夠,畫面就會很昏暗,如果畫面有高亮度的燈,長曝光時燈就會過曝,總之,相機很難把明暗處都看得清楚。

                傳統的解決方案是,用戶把設備先固定好,拍一張長曝光,另外再拍短曝光,最后進行后期,將相片手動合成為一張,耗時費力。而現在手機上的 AI,可以先進行智能降噪,然后自動拍攝數張長短曝光照片,自動合成,而且這一系列動作都在用戶按下快門的短瞬之間就完成了。就這樣,用戶最終得到了一張 HDR(高動態范圍)的照片。

                AI 又是如何幫助照片呈現自然虛化的呢?雙攝就相當于是人的兩只眼睛,每只眼看同一物體的角度不同,會有視差,這種差異能推斷出物體之間的前后關系。如果物體離得較遠,這種方法就不奏效,加上長期開啟多個攝像頭功耗增大,業界開始引入 AI。廠商拿大量的圖片素材投喂 AI,進行訓練,AI 之后就能通過一張 2D 照片,區分誰在前誰在后。通過這種方法,還可以實現人像和背景的精準分割,比如常見的「魔法換天」功能就是對其中的背景進行處理。

                使用「魔法換天」,用戶可以任意改變照片中天空的狀態,盡管原圖是白天的云層,但當用戶選擇「星辰」效果時,照片就會呈現出夜晚中的漫天星空。在強大 AI 引擎下,前后景的分離與融合,天際線的地方幾乎看不到后期處理的痕跡。

                還有諸如 AI 防抖、舊照片修復、路人消除等功能,都靠手機上的算法驅動。前幾年,廠商們拼的是鏡頭數量;未來,他們要拼 AI 和算法。AI 在智能手機滲透率不斷提升,逐漸與手機拍攝融合。


                做傳統相機做不到的

                艾瑞咨詢發布的《2020 中國人工智能手機白皮書》顯示,2020 年上半年,短視頻應用在消費者常用 app 的單機單日有效時長占比接近 32%。

                此外,手機拍攝功能已成為中國消費者最關注的手機要素,這將繼續引導手機廠商提升手機拍攝能力、拍攝功能與使用體驗。《白皮書》指出,手機廠商拍攝算法與外部算法公司合作廣泛,將近 60% 手機拍攝算法,通過與算法公司合作研發獲得;「AI + 光感知」手機算法市場高度集中,以曠視為代表的頭部企業份額占比接近 80%。

                除了前文提到的超分辨率、夜景模式和虛化呈現,手機廠商還通過算法的方式,更好地協調和調度更豐富的鏡頭組,從而實現近似單反相機的拍照效果,如多攝虛化和平滑變焦等。

                在變焦方面,我們知道 12-24 毫米適合拍大場景風光,24 毫米拍日常紀實,35-50 毫米拍人文,85-135 毫米拍人像等等。單一鏡頭很難滿足這些需求,而同時加入廣角、超廣角、長焦鏡頭這些不同焦段的鏡頭,就能應對更加廣泛的拍攝場景。

                不過手機內部空間寸土寸金,手機攝像模組尺寸較小,還需要封裝很多硬件和系統,所以很難有與單反相同的光學結構,因此目前手機上的鏡頭大部分都是定焦鏡頭,只能在特定變焦節點上實現真正的光學變焦。比如我們常見的 2 倍、3 倍、5 倍變焦,而在拍攝這些光學變焦節點之間焦段的畫面時,就需要通過「裁切」來實現,同時畫面還可能要跨越不同的鏡頭。

                這時,要實現多枚不同焦段鏡頭之間更平滑的連續變焦,就需要算法的加入。通常來講,比如在拍攝 1.5 倍變焦時,算法會將畫面中心區域替換為更加清晰的 2 倍長焦拍攝畫面,而四周則可以用 1 倍主攝的成像,將兩者結合起來,實現雙攝的融合。

                后置攝像頭不是越多越好,也不是越大越好。廠商們也開始轉換思路,不再只是「如何讓一枚鏡頭變得很強」,而是「如何讓多枚鏡頭可以更好地協同起來」。

                AI 多攝逐漸走進大眾視野,既得益于手機廠商對于產品的迭代升級,也離不開曠視等 AI 企業對于底層技術的創新和賦能。以多攝融合為例,曠視的多攝融合算法采用神經網絡設計模型,可有效解決清晰度不均勻、主體邊緣線條彎曲、部分位置重影、線條斷裂錯位、重復紋理錯位等傳統多攝融合算法中的常見問題。

                在曠視 10 月 12 日舉辦的漫談 AI 技術分享會上,曠視研究院研究員范浩強介紹說,當下基于 AI 計算攝影的手機拍照已經是光、電、算一體化的過程了,涉及光信號、電信號、AI 計算等多個環節?,F在 AI 算法的領域變得越來越大,手機算力本身也在不停增加,按照這樣的趨勢發展,也許將來手機里面所有的算法都可以使用 AI 了?!?/p>

                手機成像是一套系統工程,考驗的是各個要素之間的匹配。曠視認為,之前的光感知系統是「硬件升級——算法輔助——優化后期處理」相對獨立化的運作,有了 AI 的加入,便能將這些流程和軟硬件一起協同起來,完成升級。這也就是曠視率先提出的「AI 重新定義光感知系統」理念。

                從整個影像系統出發,配合智能手機的光學系統以及傳感系統,借力 AI 算法,通過圖像識別、融合、增強、分割等方式,升級成像質量,在有限的硬件條件下帶來指數級的效果提升。

                范浩強說,「原來的算法對于弱紋理或者無紋理的地方計算很困難,一面白墻過來之后算法就蒙了,不知道到底哪個點該匹配哪個點。但是神奇的深度學習使得這一切都成為了可能,在茫茫一片白雪的場景里面,都可以算出準確的光流來?!?/p>

                有了 AI 的協力,手機甚至做到了傳統相機做不到的。

                以 iPhone 13 上的「電影模式」為例,畫面中的焦點會根據情節發生變化,引導觀眾的視覺,關注畫面中的不同區域,要實現這樣的效果,傳統影視拍攝都需要一個攝影師和一個跟焦員默契配合,往往得拍個三五遍,但現在在計算攝影的輔助下,算法認出了畫面中的人物,認出了人物的目光看向的方向,手機這時候知道應該怎么自動調節對焦參數。

                更讓吃驚的是,焦點還能在后期繼續調整。這種自由度,是傳統相機無法給予的。

                「流行百科的說法是,計算攝影就是在拍攝的同時用計算機進行一定程度的計算修飾。美顏模式就是這個意思。但是我認為這個定義沒有真正地說出計算攝影的精髓,它會讓人大大低估計算攝影的強大能力……計算攝影就是讓你的拍攝設備像攝影師一樣理解你拍攝的對象是什么,它更應該叫智能攝影。」科普作家汪詰說道。


                用強大算法創造全新的視覺想象

                2019 年 4 月 10 日,全球多地天文學家同步公布首張黑洞真容,這是這是人類史上首張黑洞照片。這個明亮的火環讓人振奮,有望證實愛因斯坦廣義相對論在極端條件下仍然成立。但由于黑洞本身不發光,所以要拍出這張照片困難重重。

                科研人員集合了分布在全球各地的 8 個高靈敏度射電望遠鏡,從智利阿塔卡馬沙漠到南極冰原,從西班牙的高山到夏威夷的海島,這 8 個射電望遠鏡通過「甚長基線干涉測量技術」聯合起來,模擬出口徑像地球一樣大的望遠鏡。

                收集完素材后,經大約兩年的數據處理及理論分析,照片才成功「沖洗」出來。也就是說,黑洞的照片也屬于「計算攝影」?!讣夹g的突破、世界上最好的射電望遠鏡之間的合作、創新的算法都匯聚到一起,打開了一個了解黑洞的全新窗口?!鬼椖恐魅沃x潑德·杜勒曼說道。

                計算攝影就是如此,用 AI 突破光學的物理限制,用強大的算力創造全新的視覺想象,用深度學習來超越人眼可見的細節。計算攝影技術的持續進化,會催生一些明星公司。同手機的物理升級相比,計算攝影是隱形的,而為計算攝影提供技術的 AI 公司更是隱形的。AI 多攝能逐漸走進大眾視野,既得益于手機廠商對于產品的迭代升級,也離不開曠視等 AI 企業對于底層技術的創新和賦能。

                最新文章

                極客公園

                用極客視角,追蹤你不可錯過的科技圈。

                極客之選

                新鮮、有趣的硬件產品,第一時間為你呈現。

                頂樓

                關注前沿科技,發表具有科技的商業洞見。

                色戒在线观看

                    <th id="p3tzd"></th><big id="p3tzd"><address id="p3tzd"></address></big>

                              <span id="p3tzd"></span>

                              <output id="p3tzd"></output>