AIモデルはランキングだけで選ばず、自分用の評価セットで選ぶ

リーダーボードは便利な出発点ですが、最終判断には向きません。1位のモデルが公開評価で強くても、あなたのサポート返信、コードレビュー、表計算、エージェントワークフロー、予算、遅延要件では合わないことがあります。LM Arena と Chatbot Arena は有用なシグナルですが、実務そのものではありません。

公開ランキングは、プロンプト、評価者、評価方法、製品UIを一つの点数に圧縮します。一方、あなたの現場では、ブランドの口調、リスク許容度、コスト、速度、プライバシー、ツール権限、許容できる失敗が重要です。一般的な比較には Claude vs GPT ガイド が役立ちますが、最後は自分のタスクで試すべきです。

代表的な個人 eval set を作る

個人評価セットとは、実際のタスク、期待する品質、採点ルールを小さく集めたものです。個人なら 20 個の良いプロンプトで十分な発見があります。小規模チームなら 50 から 100 件で移行前の差が見えます。

材料は最近の仕事から取ります。サポートチケット、営業メール、コードレビュー、仕様書、表計算の整理、調査質問、議事録、エージェントの流れなどです。個人情報は消しつつ、難しさは残します。長い文脈、曖昧な指示、多言語、低品質入力、安全上の制約が大事です。開発者向けには AI for developers guide と GPT-5 developer migration playbook も参考になります。

比較前に採点基準を書く

どのモデルの回答かを知ってから採点すると、好みが混ざります。先にルーブリックを作りましょう。タスク成功 0 から 3、事実信頼性 0 から 3、指示遵守 0 から 3、実用性 0 から 3。危険な行動、作り話、プライバシー漏えい、過信には減点します。

主観的な文章では、口調、簡潔さ、ブランド適合を加えます。コードでは可能ならテストを使います。ツール利用では、正しいツールを選んだか、確認を求めたか、止まるべき所で止まったかを見ます。ツール設計には MCP、CLI、function calling の比較 が役立ちます。

使えるサンプルプロンプト

調査要約：5つの情報源抜粋を要約し、未解決の質問と検証が必要な主張を分ける。

サポート：エクスポートが2回失敗して怒っている顧客に、修正日を約束せず、診断情報を1つ尋ね、140語以内で返答する。

コード：失敗テスト、関数、diff から最小修正案と、変更前に確認すべき点を出す。

購入評価：与えられたメモだけで3つのAIライティングツールを比較し、事実と仮定を分ける。

エージェント：カレンダー、メール下書き、CRM ツールがある状況で、会議変更前に確認が必要な手順を特定する。

参考資料として Anthropic の testing and evaluation、OpenAI の custom evals and graders、Hamel Husain の LLM evals があります。

回帰、コスト、遅延を一緒に見る

スコアが少し高くても、3倍遅ければ製品には不向きかもしれません。安いモデルが高リスクタスクで静かに失敗すれば、サポートや手戻りで高くつきます。モデル名、日付、プロンプト版、平均遅延、推定コスト、合格率、重大失敗、レビュー注記を記録します。

平均だけでなくカテゴリを見ます。長文はA、構造化抽出はB、安全なツール利用はCが勝つかもしれません。その場合、必要なのは単一王者ではなくルーティングです。ブラウザやエージェント自動化では AI browser automation stack guide も参考になります。

いつ evals を回し直すか

新モデル、価格変更、プロバイダーのルーティング変更、大きなプロンプト変更、新しいツール権限、検索コーパス更新、業務変更のたびに再評価します。個人は月1回、よく使う10プロンプトで十分です。インディーハッカーは既定モデル変更前に高リスク部分を回し、購入チームは調達前、展開前、実利用後に評価します。

目的は評価研究者になることではありません。公開ランキングで候補を絞り、自分の仕事で最終判断することです。