這款人工智能“橡皮擦”能把視頻里的你抹掉了
天空中翱翔的海鷗從稀薄的空氣中消失，沙漠中的背包客在行走時蒸發。這些需要電影制片人完成的視頻效果再次被人工智能所"學"。
最近，歐洲計算機視覺國際會議(ECCV)開發了一種人工智能視頻處理算法，它可以從視頻圖像中刪除移動物體，同時保持移動邊界的清晰性。
這項名為"光流-邊緣引導視頻完成"(Flow-edgeGuidedVideoCompletion)的研究由美國弗吉尼亞理工學院(Virginia Institute Of Technology)和Facebook進行。該研究的主要作者是美國弗吉尼亞理工大學計算機工程專業的博士生。
目前，高正從弗吉尼亞理工大學助理教授賈賓黃那里學習計算機攝影和計算機視覺，專注于圖像/視頻處理和視覺場景理解。
騎馬的運動員和馬一起消失
在高湛和他的同事們的研究成果中，各種運動物體，如擺動秋千、運動員騎馬、海上帆船等，都消失在沒有痕跡的視頻中，肉眼看不到人造的編輯痕跡。
這項研究的另一位作者賈秉黃在社交媒體上透露，該算法可以無縫地刪除物體、水印或在隨機視頻中拓寬視野。該算法也是人工智能科學家、圖靈獎得主揚勒村推薦的。
高湛等人在本文中介紹，這是一種基于光流的視頻完成算法。視頻完成(視頻完成)的任務是用新合成的內容填充給定的時空區域。它有許多應用，例如修復(去除劃痕)、視頻編輯、特效工作流(刪除不想要的對象)、刪除水印和標志以及視頻穩定性。
對于視頻完成任務，困難在于新生成的內容需要無縫地嵌入到視頻中，而變化應該盡可能不被發現。幾年前，業界的一般方法是基于補丁的合成技術。然而，這些方法合成速度通常較慢，合成新內容的能力有限，只能對視頻中現有的補丁進行重新組合。
后來，出現了一種基于學習的技術，它可以達到更合理的綜合效果，但由于對視頻的高內存要求，存在一個解決問題。
那個在噴泉邊旋轉跳舞的女孩在起飛后消失了.
作者認為，最成功的視頻完成方法是基于光流技術，它可以合成顏色和光流，沿著光流軌跡傳輸顏色，以改善視頻的時間相干性，從而減少存儲問題，實現高分辨率輸出。
這項新的研究還采用了一種基于光流的方法。作者說，以前的光流完成方法往往無法保持移動邊界的清晰性，它們開發的方法首先提取并完成運動物體的邊緣，然后以光流邊緣作為完成光流的指南。因為這種方法并不能填充視頻中所有缺失的區域，所以研究人員引入了非局部光流，這樣視頻內容就可以在移動的邊界上傳播。
作者認為，可視化和定量的結果都表明，它們的方法比最新的算法具有更好的性能。它們還指出，該方法的速度為0.12fps(FramesPerSecond，每秒傳輸幀)，這與其他基于光流的方法相似，而且運行速度慢是一個很大的缺點。
