AIに関する論文発表で増えている問題は、論文の出版プロセスがワーキングペーパーよりもはるかに遅いため、論文が正式査読を受ける際には、査読対象の論文を基に作成された新しい論文を考慮しなければならないことです。この件に関して特に規範はありません

関連する問題は、元のワーキングペーパーがしばしば初期モデルについて書かれていることです。AIに精通した査読者は最新のモデルに合わせて論文を更新するよう求めますが、それが結果を変えることが多いです。歴史的に真実のことを発表するのか、それとも更新が必要なのか?

非学術者への重要な注意点:プレプリントには終身在職権や昇進はありません。査読付きの論文が必要です。

新しいモデルが登場するにつれて、簡単に更新できるように論文を作成する必要があります。つまり、「AIはタスクXをうまくこなせない」という論文はトレンドラインについて書き直す必要があります。なぜなら、あなたが発表する頃にはAIがタスクXをうまくこなしている可能性が高いからです。