12 月 5 日消息，英偉達的最新 AI 工具又讓網友用戶們激動了。“我已經等不及了！”

一位網友在看完演示視頻后表示。

對于“手殘黨”來說，英偉達的 EditGAN 簡直就是零基礎 P 圖神器。能夠高質量、高精細度地對圖像進行修改，讓 P 圖方式從未如此容易。

例如，讓畫像和雕塑“擠眉弄眼”。只要你會上傳圖片、能畫草圖，就能夠輕松 P 圖。如此“魔性”的工具，難怪得到了網友熱捧。

EditGAN 甚至能精細到修改車輪輻條大小和方向：

當然，真人照片也不在話下，如控制人眼朝向、頭發量等，還能給貓咪修改耳朵大?。?/p>

而你要做的，只是上傳一張圖片，然后由程序生成一張語義分割草圖，直接在草圖上涂抹修改。

EditGAN 只會修改你想要改變的部位，其他部分都原封不動。

和最近的 GauGAN2 一樣，英偉達也為 EditGAN 開發了一個電腦軟件：

這項研究已經被 NeurIPS 2021 接收。

本文一作是來自多倫多大學的華人博士生凌歡，他同時在該校人工智能研究院（Vector Institute）和英偉達做研究。

首個 GAN 驅動的圖像編輯器

研究人員表示，EditGAN 是第一個 GAN 驅動的圖像編輯框架，它的主要特點是：

1、提供非常高的精度編輯，

2、只需要很少的注釋訓練數據，

3、可以實時交互式運行，

4、允許多個編輯的直接合成，

5、適用于真正的嵌入式、GAN 生成甚至域外圖像。

首先，EditGAN 使用 StyleGAN2 生成圖像。

StyleGAN2 的工作流程是：獲取圖像，將其編碼到潛在空間，并使用生成器將這個編碼子空間轉換為另一個圖像。

但問題在于，這個空間是多維的，我們很難將其可視化，也很難確定該子空間的哪一部分負責重建圖像中的哪個特征。

通常，需要龐大的標注數據集，才能知道模型中潛在空間哪一部分控制哪些特征。

而 EditGAN 僅通過對少數標記的數據集示例進行學習，就能將分割與圖像相匹配，從而實現圖像圖像的編輯。EditGAN 保留了完整的圖像質量，同時提供了前所未有的細節和自由度。

更重要的是 EditGAN 不僅知道潛在空間對應控制那個部分，而且還將它們與草圖對應起來。這樣，我們就可以通過修改草圖輕易地修改圖像了。

EditGAN 基于 DatasetGAN，結合了圖像建模及其語義分割。

EditGAN 的關鍵思想在于利用圖像和像素級語言分割聯合分布。

具體而言，就是將圖像嵌入 GAN 的潛在空間，并根據分割編輯執行條件潛在代碼優化。

以上展示了 EditGAN 的訓練過程：修改語義分割并優化共享的潛在代碼，與編輯區域內的新分割，以及編輯區域外的 RGB 外觀保持一致。相應的梯度通過共享生成器進行反向傳播。

為了攤銷優化，作者在實現編輯的潛在空間中找到“編輯矢量”。該框架允許學習任意數量的編輯矢量，然后以實時的速率直接應用于其他圖像。

P 圖工具即將發布

作者團隊在英偉達內部 GPU 集群上使用 V100 執行底層 StyleGAN2、編碼器和分割分支的訓練以及嵌入和編輯的優化。

該項目使用了大約 14000 個 GPU 小時，其中大約 3500 個 GPU 小時用于最終實驗，其余用于研究項目早期階段的探索和測試。至于 EditGAN 的運行，在 V100 上進行 30 (60) 步優化需要 11.4 (18.9) 秒。

雖然訓練不起，但是用訓練好的模型來 P 圖還是有可能的。

此前英偉達發布的 Canvas 就集成了 GauGAN2 等最新成果，可以用手繪草圖生成精細的 PS 文件。

可能 Canvas 也會很快集成 EditGAN 的吧。

有個好消息是，英偉達表示，將會代碼和編輯工具軟件即將推出。你是是不是迫不及待想嘗試一把了？