airepr
概要
- 生成AIによるデータ分析の正確性を高めるためのフレームワーク
- AnalystとInspectorで分析プロセスを分離する
- 再現可能なワークフローが品質を左右する
仕組み
- Analystがコードと詳細なワークフローを作成する
- Inspectorがワークフローのみを読んで再実装する
- 再現できた分析は正解率が約11ポイント高い
Reproducibility-of-Thought(RoT)
- 手順書だけで第三者が同じ分析をできるように詳細に記述する
- その後にコードを生成して実行する
- 十分性と完全性を担保し論理の欠落を減らす
導入フロー
- 分析要件の定義
- ワークフロー生成とレビュー
- ワークフローに基づく実行と検証
メリット
- 分析精度の向上
- 監査可能性の確保
- 属人性の低減
参考
- Zeng, Q., et al. (2025). AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science. Findings of the Association for Computational Linguistics: EMNLP 2025.