Scribble at 2023-11-29 10:55:00 Last modified: 2023-11-29 19:51:19
MeshGPT creates triangle meshes by autoregressively sampling from a transformer model that has been trained to produce tokens from a learned geometric vocabulary. These tokens can then be decoded into the faces of a triangle mesh. Our method generates clean, coherent, and compact meshes, characterized by sharp edges and high fidelity.
この数年で、Transformer をベースにした pre-trained な分散モデルの応用が急速に進んでいて、もちろん実用化の段階に入っているプロジェクトも多くあるようだ。上記のプレゼンテーションも、AUDI のスタッフが加わっていることから分かるように、製造業での設計プロセスが生成 AI の応用を検討できる段階に入っていることを示している。
ただ、このサイトを紹介している Hacker News で筆頭に書かれているコメントがエキサイティングな調子で、"This is what a truly revolutionary idea looks like. There are so many details in the paper. Also, we know that transformers can scale. Pretty sure this idea will be used by a lot of companies to train the general 3D asset creation pipeline. This is just too great." と書いているが、僕はそこまでの劇的な応用ではないと思う。同じく Hacker News でコメントが加えられているように、"A competent modeler can make these types of meshes in under 5 minutes"（まともなモデラーならこういうメッシュ・データを５分で作れる）わけだし、目当てのデータがうまく出力できるまでシードをランダムにコロコロと替える必要もない。つまり、こういう技術があれば人間のモデラーが必要なくなって24時間稼働できるといった話は幻想だろうということだ。確かに、シード（入力時にランダムな要素を加えるハッシュ値）を替えて生成するメッシュ・データを１分間に数千や数万のオーダーで吐き出せるようになり、人がデザインするよりも生産性において桁違いの成果を出せるかもしれないが、しかし吐き出された大量のメッシュ・データの中から「使える」と誰が判定するのか。そこが自動化できなければ、モデラーが作業を終えて翌日に上司が結果を評価するのと、生成 AI が吐き出した大量のデータから「そもそも評価に値する」データを上司が選び出すのとでは、プロセスが全く異なってくる。そして、皮肉なことだが、その評価を自動化できないなら、逆に生成 AI の生産性が向上すればするほど結果の判定に要する時間も比例して増えていくのだ（モデラーが提出した３案から選ぶのと、生成 AI が出力した10万枚のデータから、そもそも「案」として評価に値するデータを選ぶのとでは、後者には桁違いの無駄な予備作業の時間がかかる）。
もちろん、生成 AI の動作においてデノイズの過程に「良さげな出力」のためのアルゴリズムを介入させることはできるだろう。あるいは出力された画像から「よさげ」なものを選別するアルゴリズムと言ってもよい。でも、その結果として出力内容が極端に均一・画一化されて、相当な割合で出力内容が予測可能なものとなってしまう。たぶん、どんなシードやプロンプトを設定しても同じようなデータしか吐き出されなくなるような状況に陥り、生成の結果にバラエティやクリエーティビティをもたせるためには、そもそもトレーニング用のデータを増やすしか方法がなくなる。では、そのデータはどうやって増やすのか。生成 AI の出力データを使うと、そのうち乱雑さがなくなって収束してしまうわけなので、そこそこデタラメなデータを使うか、あるいはやはり人が作ったデータを使う他になくなるだろう。