Scribble at 2026-02-08 09:17:53 Last modified: 2026-02-08 09:18:17
To assess the ability of current AI systems to correctly answer research-level mathematics questions, we share a set of ten math questions which have arisen naturally in the research process of the authors. The questions had not been shared publicly until now; the answers are known to the authors of the questions but will remain encrypted for a short time.
現実の数学の研究で生じる問題（既に著者は証明している）を AI に解かせてみると、ワンショットで正しい証明は出せないが、ガイドしてやれば見込みはあるということのようだ。もちろん、テレンス・タオのような数学者は、そういうアドバイスを AI に与えて実際に利用しているわけなので、そのレベルでの利用（プロパーが学生をアシスタントとして研究する）なら実用的なレベルに達していると言えるのだろう。実際、既にオンラインのリソースに着目するべき論点だけでなく（あるていどの）答えまで見つかるような課題であれば、AI がもつ膨大なデータ・セットと検索能力を活用できる。だが、もちろんそれは「見つかる」ような課題だからこそ解決するわけであって、探してもオンラインにないはずのものを見つけたかのように言うことはハルシネーションである。
僕らが実務で AI を利用している場合でも、個々の論点、たとえば個人情報保護マネジメントシステムで採用するべき一つの安全管理措置をどのように社内規程の規定文として書けばよいかという課題の参考になる、他社の規定という類例を探すというなら、AI を使ってよい。また、その類例が弊社の規程全体の中でどう表現されるべきかという整合性も、AI に検討させられる。だが、最終判断は僕ら自身がやらなくてはいけない。AI は、まだ出鱈目なことを言うことが多いからだ。ましてや、ワンショットで「いい感じ」の規程を作れるなどとは思えない。