比較の検証：品質・人の手間・時間・費用を同じ課題で測る

## 仮説 支持が分かれる理由の一部は、「良い」に含める評価軸と利用条件の違いで説明できるのではないか。これは本Gardenでの整理・仮説で、ネット全体に対する因果関係は未検証です。 ## 比較前に記録する条件 利用日、製品と利用画面（CLI／アプリ等）、モデル、推論設定、契約、主要タスク、コードの初期状態、渡す資料、権限、利用可能なツール、完了条件を記録します。製品名が同じでも、この条件が違えば比較対象は変わります。 ## 次の一手 実際の代表的な課題を選び、同じ初期状態と受入条件から比較します。各製品に適した標準的な設定を使い、設定差も残します。プロンプトの完全一致だけで公平性が確保されたとは扱いません。 | 評価軸 | 記録するもの | | --- | --- | | 完了品質 | 受入条件の達成、実行確認、レビューで見つかった不具合 | | 人の手間 | 指示の追加、手修正、確認に使った時間 | | 所要時間 | 実行開始から受入可能になるまでの時間。失敗・再試行を含む | | 費用・利用枠 | 同じ期間の支払額・追加課金・上限による待ち時間 | | 失敗の種類 | 早す