Scribble at 2023-12-01 12:35:09 Last modified: 2023-12-01 12:41:01
Upon its release in late 2022, ChatGPT has brought a seismic shift in the entire landscape of AI, both in research and commerce. Through instruction-tuning a large language model (LLM) with supervised fine-tuning and reinforcement learning from human feedback, it showed that a model could answer human questions and follow instructions on a broad panel of tasks. Following this success, interests in LLMs have intensified, with new LLMs flourishing at frequent interval across academia and industry, including many start-ups focused on LLMs. While closed-source LLMs (e.g., OpenAI's GPT, Anthropic's Claude) generally outperform their open-source counterparts, the progress on the latter has been rapid with claims of achieving parity or even better on certain tasks. This has crucial implications not only on research but also on business. In this work, on the first anniversary of ChatGPT, we provide an exhaustive overview of this success, surveying all tasks where an open-source LLM has claimed to be on par or better than ChatGPT.
サーベイ論文のつもりなのかもしれないけれど、たかだか１年足らずの経緯で ChatGPT を基準に語るなんて、そら関連する論文の発表も応用の紹介も盛んではあるけれど、学術的に言って拙速な気がするね。これまでの人工知能ブームに比べたら、民生というか僕らのように個人が自宅でも膨大なデータを使ったディープ・ラーニングの分散モデルを気軽に扱えるのだから、これはこれで一つの「展開」ではあるけれど、「進展」とまで言っていいかどうかは定かではない。まだ、僕はこれが「第３次の人工知能ブーム」（ディープ・ラーニング）が終わるまでの単なる一幕として歴史の１ページに片付けられる可能性があると思う。夥しい数のフェイク動画やスケベ画像をガキがボタン一つで乱造するような社会になったことを「進展」と呼ぶなら別だがね。