チャンク(チャンク分割)とは
チャンクとは、長い文書を、検索や生成AIでの処理に適した大きさに切り分けた一つひとつのまとまりのことです。文書をチャンクに分ける作業を「チャンク分割」または「チャンキング」と呼びます。
英語の chunk は「かたまり」「ひと切れ」という意味です。たとえば100ページある業務マニュアルをそのまま検索対象にすると、「どのページのどこが質問に関係するのか」をうまく特定できません。そこで、マニュアルを見出しや段落ごとの小さなまとまりに分け、それぞれを検索の単位にします。これがチャンクです。
チャンク分割は、生成AIに社内文書を参照させるRAGで、回答の精度を大きく左右する工程として知られています。
仕組み・ポイント
RAGでは、チャンクごとに埋め込みを作って保存し、質問に近いチャンクを検索して生成AIに渡します。そのため、チャンクの大きさと区切り方が、検索の当たりやすさと回答の質に直結します。
| 分割方法 | 内容 | 向いている文書 |
|---|---|---|
| 固定長分割 | 一定の文字数やトークン数で機械的に区切る | 構造のない長文、試作段階 |
| 構造ベース分割 | 見出し、章、条文、段落などの区切りで分ける | マニュアル、規程、契約書 |
| 意味ベース分割 | 話題が切り替わる箇所を判定して分ける | 議事録、インタビュー記録 |
| 単位ごとの分割 | FAQなら1問1答、表なら1行など | FAQ、製品仕様表 |
あわせて考えるポイントが二つあります。
- オーバーラップ(重なり):チャンクの境目で文脈が切れないよう、前後のチャンクと少し重ねて分割する
- メタデータの付与:文書名、章のタイトル、更新日、閲覧権限などを各チャンクに持たせ、検索時の絞り込みや回答時の出典表示に使う
チャンクが大きすぎると、関係のない内容が混ざって検索の精度が下がり、生成AIに渡すトークンも増えます。小さすぎると、前提条件や例外の記述が別のチャンクに分かれてしまい、文脈が失われます。
実務での使い方・具体例
架空の例として、ある会社の就業規則と各種手当の規程をRAGで検索できるようにするケースを考えます。
- 規程を条文単位で分割し、各チャンクに「規程名」「章名」「条番号」を付ける
- 「ただし〜の場合はこの限りではない」のような例外規定が別の条にある場合は、参照関係が分かるよう章のタイトルをチャンクの先頭に付け足す
- 手当の金額表のような表は、1行ごとに「項目名:値」の文章に変換してチャンクにする
- 評価用の質問で検索させ、正しい条文が上位に出るかを確認する
- 外れた質問を見て、分割単位や付け足す情報を調整する
このように、文書の種類ごとに分け方を変えるのが実務では一般的です。PDFや表を多く含む資料では、文字の抽出段階で崩れが起きやすいため、分割の前に整形する工程が必要になることもあります。
チャンク設計で確認したいチェック項目をまとめると、次のとおりです。
- 一つのチャンクを読んだだけで、内容が理解できるか(主語や前提が抜けていないか)
- 見出しや文書名など、チャンクの位置づけが分かる情報が付いているか
- 例外規定や注意書きが、本文と切り離されていないか
- 表や箇条書きの構造が、分割によって崩れていないか
- 出典として表示したときに、利用者が元の文書の該当箇所をたどれるか
とくに一つ目は重要です。「上記の場合」「この手続き」のように前の文脈に頼る書き方が多い文書は、そのまま分割すると意味が通らないチャンクになります。チャンクの先頭に見出しを補ったり、前後の要約を添えたりする工夫で、検索と回答の両方の質が上がります。
よくある誤解と注意点
- 「最適なチャンクサイズ」は一つではない:文書の種類や質問の傾向によって変わります。評価用の質問で比べて決めます。
- 機械的な分割で済ませると精度が頭打ちになりやすい:試作では固定長でも動きますが、本番では文書の構造を生かした分割が効果的です。
- 表や図の扱いを忘れがち:表をそのまま文字列にすると、行と列の関係が失われます。変換の方法を個別に検討します。
- 文書を更新したらチャンクも作り直す:改訂された部分だけ更新する仕組みか、全件作り直す手順を決めておきます。
関連用語
- 埋め込み(エンベディング):チャンクを検索可能なベクトルに変換する技術
- ベクトル検索:チャンクを意味の近さで探す検索
- コンテキストウィンドウ:生成AIに渡せるチャンクの量の上限を決める要素
- リランキング:検索したチャンクを並べ替えて精度を高める処理
- トークン(LLM):チャンクの大きさを測る単位
文書の種類別の分け方は「RAGのチャンク分割の考え方」、PDFや表の扱いは「PDFや表を含む社内資料をRAGで扱うときの前処理の工夫」で詳しく解説しています。
Otsumuに相談できること
「RAGを作ったが、回答が的外れだったり、条件の抜けがあったりする」という場合、チャンクの分け方や前処理を見直すことで改善できることが少なくありません。OtsumuはRAG開発において、文書の種類に合わせた分割設計から評価・改善まで支援しています。
30分の無料相談でお気軽にご相談ください。
執筆:Otsumu株式会社 / 編集日 2026.10.01