OTSUMU KNOWLEDGE

評価・品質保証.

知ることを、事業を動かす力へ。
検証・開発・運用の現場で使える知識を集めました。

7件のナレッジ

評価データセットとは、AIの出力品質を測るために用意する「入力と期待する答え・採点基準」の集まりです。生成AIシステムでの作り方、運用のポイント、よくある失敗を解説します。

ガードレール（AI）とは、生成AIの入力と出力を確認し、不適切な内容や想定外の動作を防ぐための仕組みです。主な種類、システムへの組み込み方、設計時の注意点を解説します。

LLM-as-a-Judgeとは、生成AIの回答の良し悪しを、別の大規模言語モデルに採点させる評価手法です。採点の仕組み、採点基準の作り方、人の評価との使い分けと注意点を解説します。

アノテーションとは、AIの学習や評価に使うデータに、正解や意味を表すラベル・情報を人が付ける作業です。種類、生成AI時代の使われ方、品質を保つための進め方と注意点を解説しま…

ヒューマン・イン・ザ・ループ（HITL）とは、AIや自動化の処理の途中に、人の確認・判断・修正を組み込む設計の考え方です。人を入れるべき場面、承認点の決め方、運用の注意点を解…

適合率と再現率とは、AIの検索や分類の精度を測る代表的な指標で、適合率は「出した結果の正しさ」、再現率は「正解の取りこぼしの少なさ」を表します。計算方法とRAGでの使い方を解…

RLHF（人間のフィードバックによる強化学習）とは、人が回答の良し悪しを評価した結果を使って、AIモデルを人の好みに沿うよう調整する学習手法です。仕組みと実務での意味を解説し…

FROM KNOWLEDGE TO ACTION

知識を、次の一手に。

新規事業の検証からMVP開発、運用の自動化まで伴走します。