airepr

概要

• 生成AIによるデータ分析の正確性を高めるためのフレームワーク
• AnalystとInspectorで分析プロセスを分離する
• 再現可能なワークフローが品質を左右する

仕組み

• Analystがコードと詳細なワークフローを作成する
• Inspectorがワークフローのみを読んで再実装する
• 再現できた分析は正解率が約11ポイント高い

Reproducibility-of-Thought（RoT）

• 手順書だけで第三者が同じ分析をできるように詳細に記述する
• その後にコードを生成して実行する
• 十分性と完全性を担保し論理の欠落を減らす

導入フロー

• 分析要件の定義
• ワークフロー生成とレビュー
• ワークフローに基づく実行と検証

メリット

• 分析精度の向上
• 監査可能性の確保
• 属人性の低減

参考

• Zeng, Q., et al. (2025). AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science. Findings of the Association for Computational Linguistics: EMNLP 2025.