レポートのサマリー:
- 開発業者は引き続きLLM モデルを投入し続けています。全く新しいLLM モデルも、既存のLLM モデルファミリー
の拡張版も、コストやパフォーマンス、さまざまなユースケースへの適合性など新たな疑問をもたらしています。 - LLM の性能を比較する場合、「最良」という言葉は相対的なものであり、個々のユースケースに密接に関係
していています。 - LLM の状況が多様化するにつれ、LLM の意図する目的を理解することが重要な評価基準になります。
- どのLLM が各ユースケースに適しているかを評価する上で、価格性能比は引き続き重要な指標になります。
- オープンソースコミュニティから生まれた大規模モデルであるDeepseek R1 の実効性を検証しました。
LLMの進化とオープンソースモデルの出現：
LLM は追いつくのが困難なほど急速なスピードで進化を続けています。確立されたモデルが新バージョンを発表し、新たなプレーヤーも参入しています。つまり、このような変化が、重要な保険プロセスやユースケースをサポートするLLM の使用方法にどのような影響を与えるかを理解することが非常に重要になってきています。本レポートは、保険に特化した様々なユースケースに6 つの異なる大規模言語モデル（Large Language Models：LLM）を適用した際のパフォーマンスをまとめた「保険AI の現状（The State of AI in Insurance）」レポートから始まりました。最初のレポート発行以来、テストされたモデルのいくつかはテスト対象から削除され、新しいモデルが追加されました。これは、本レポートが利用可能なLLM の現在の最先端を最もよく反映するとともに、技術コミュニティから大きな関心を集めているモデル（例えばDeepseek R1 など）にも注目し、保険に特化したユースケースへの展開が最も考慮される可能性の高いモデルも含まれています。本レポートは、事前に設定された一連のタスクに対する相対的なパフォーマンスを比較するだけでなく、テストされた各LLM に関連するコスト／パフォーマンスの比較結果も示すことを目的としています。
