Slide 1: 業務効率を改善させる最新の生成AI技術「RAG」とは
業務効率を改善させる最新 の生成AI技術「RAG」とは Extending Large Language Models with Retrieval Augmented Generation ©2024 TDSE Inc.
Slide 2: 本日の講師・アジェンダ
はじめに 業務効率を改善させる最新の生成AI技術「RAG」とは？ 00 本日の講師 RAGとは何か RAGの導入方法 RAGの性能評価と性能改善 まとめ ©2024 TDSE Inc. 1
Slide 3: 自己紹介
はじめに 自己紹介 00 本日の講師 TDSE株式会社 コンサルティング本部 グループ長 李 俊 大学時代は人工知能(AI)の黎明期で、コンピュータ囲碁の研究に取り組む。卒業後、 SIer企業に入社し、金融システム開発に従事。 2015年10月に、AlphaGoが世界トップ棋士に勝利したことに強くインスパイアされ、 Deep Learningを始め、機械学習の分野に再参入。 2019年にTDSEに参画し、 これまでの経験を活かしながら、顧客に最適なソリューションの提供に邁進。 現在はエンジニアとデータサイエンティストの両技術者のパイプ役として クライアント企業のデータ活用を支援。 長年、自然言
Slide 4: RAGとは何か
RAGとは何か ©2024 TDSE Inc. 3
Slide 5: LLMにRAGを用いることで、自社固有の回答が生成可能になります
01 背景 RAGとはなにか 自社の情報に基づいて回答を得るには LLMにRAGを用いることで、自社固有の回答が生成可能になります LLMの場合 LLM＋RAGの場合 A社について教えて A社について教えて A社とは、19XX年設立の〇〇業の企業です。 Ａ社とは2023年12月から取引しています。 XXというYYの技術を応用したZZZという価 Ａ社のご担当者様は佐藤様、弊社担当は鈴 値提供するサービスを主力とし、業界での 木です。 シェアNo.2をほこります。 2023年12月の初回打ち合わせでは、RAGを 用いた社内QAbot導入の課題と予算感につ いての話し合いがありました。 議事録は下記
Slide 6: そもそもLLM (大規模言語モデル) とは何か
01 概要 RAGとは何か そもそもLLM (大規模言語モデル) とは何か LLMとは、既存のデータを学習させた自然言語処理モデルです LLMにできること LLMにできないこと テキストの抽出 ハルシネーションによる誤答 ユーザの指定した重要な単語などに基づきながら、 LLMは誤った情報をさも事実かのように回答してし 関連したテキストを抽出することが可能です。 まうこと (ハルシネーション；幻覚) があります。 他言語への翻訳 トレーニングカットオフ*による情報不足 テキストの他言語への翻訳や、他言語にしかない情 トレーニングに用いられた時点以降に生じた情報に 報も翻訳して日本語として提供する
Slide 7: LLMとRAG (検索拡張生成) の違い
01 概要 RAGとは何か LLMとRAG (検索拡張生成) の違い RAGではLLMの不足知識を補うために外部のデータを参照します LLM単体の構成 LLM+RAGシステムの構成 ユーザ LLM ユーザ ユーザ 埋め込み LLM ユーザ 命令文 (プロンプト) 事前準備 参照 RAG ドキュメント チャンキング 埋め込み ベクトル 関連データ 外部参照なし データベース 参照可能な外部DBがなく 事前に資料をベクトル化してデータベースに保存します トレーニング済の知識に ユーザからの命令文 (プロンプト) を実行する際には 回答は留まります その外部のデータを参照して独自の回答を生成します
Slide 8: RAGで何ができるようになるのか
01 概要 RAGとは何か RAGで何ができるようになるのか RAGを用いることで社内情報を参照し、自社固有の回答が生成可能です RAGでできるようになること RAGの活用案 TDSEでも POINT 導入済 ハルシネーションの低減 社内専用QAシステム 独自情報を追加することでデータベースの精度が上 社内規定ドキュメントを読み込んでおけば、｢有休申 がり、ハルシネーションを低減することができます。 請の方法を教えて｣などの質問にも回答可能です。 独自資料の参照 最適な社員エキスパートの選定 議事録や取引履歴などの独自資料を参照することが 社員プロフィールを読み込んでおけば、タスクに行 できる
Slide 9: RAGの基本的な仕組み
01 概要 RAGとは何か RAGの基本的な仕組み RAGでは資料をベクトル化したデータベースとLLMを連携させます RAG (Retrieval Augmented Generation) LLM ドキュメント 抽出 チャンキング インデックス 埋め込み ベクトルDB LLM ドキュメント チャンキング 埋め込み 大規模言語モデル LLMに回答させたい内容を含むド 情報を小さな単位 (チャンク) に分 チャンクを多次元ベクトル化しま ここまでで作成した外部のベクト キュメントを準備します。無益な 割します。チャンクは検索に利用 す。これによって、意味が類似す ルDBと連携することで、RAGを
Slide 10: RAG構築に必要なパーツについて
02 導入 RAGの導入 RAG構築に必要なパーツについて ｢言語モデル｣｢ベクトルDB｣｢サーバー｣の３つを用意する必要があります RAGの導入には様々なパターンがあり パーツ① パーツ② パーツ③ 実現内容や投入工数に応じて選択が必要です。 言語モデル ベクトルDB サーバー ここでは以下の導入例を紹介します 導入例① Azure OpenAI Azure AI Search Azure Web Apps クラウドサービスを利用 RAGの構築に必要な３つのパーツすべてがAzure内で完結しています 導入例② API 商用ベクトルDB クラウド スクラッチ開発 オフプレミス環境 自由度が高く
Slide 11: RAGの導入
RAGの導入 ©2024 TDSE Inc. 10
Slide 12: 導入例①：クラウドサービスを利用する例
02 導入 RAGの導入 導入例①：クラウドサービスを利用する例 ※ 2024年7月時点 Azureを利用することで様々なユースケースに適したRAGを実装可能に ユーザ Azure OpenAI導入のポイント Azure AI Search (クラウド検索) ① クラウド環境で利用可能 Microsoft社の提供するクラウドサービスで、別途ハードウェアや 質問 回答 情報源 ソフトウェアを用意する必要なくすぐに始められます。 検索 関連知識 参照 社内資料 社内データ クエリ ② Azure内に言語モデルがあり環境や請求を一元化 アプリケーション サーバー UX・アプリサーバー・Azure A
Slide 13: 導入例②：スクラッチ開発の例
02 導入 RAGの導入 導入例②：スクラッチ開発の例 ※ 2024年7月時点 ライブラリ利用でLLM活用サービス開発時に高度な機能を実装できます ユーザ LangChainライブラリ導入のポイント POINT オンプレミス環境 にも実装できる Model I/O Chains ① ライブラリの連携で高度な実装を実現 ライブラリを利用することで、必要なモジュールを組合せ、プロ LLMとの 処理の分岐や アプリ インタフェース 並列化 グラミング言語*を通じて高度な機能を実装できます。 * Python、JavaScript (TypeScript) に対応 (24年7月時点) モジュール Re
Slide 14: 導入例②：スクラッチ開発の例 (オンプレミス環境のRAG構築)
02 導入 RAGの導入 導入例②：スクラッチ開発の例 (オンプレミス環境のRAG構築) クラウドサービスを利用せず、 RAGの実装を全て自社の設備で完結させることも可能です ユーザ オンプレミス環境のポイント 類似度検索 ①LLMモデルを自社設備で利用 オーペンソースLLMモデルを自社設備で実行し、RAGで利用した アプリ ローカル いドキュメントの埋め込みや文章の回答、テキスト生成に使用で Embeddings きます。 Model *オンプレミスで動けるモデルはLlama-3.1、Mixtral 8x7Bなど(24年7月時点) *ライセンスを確認する必要があり ②ローカルベクトルデータベ
Slide 15: RAGシステムの構築・運用環境比較
02 導入 RAGの導入 RAGシステムの構築・運用環境比較 構築・運用環境の特徴を踏まえ、最適な環境を選定します 既成サービス スクラッチ クラウドサービス利用 オフプレミス オンプレミス 設備 クラウド クラウド 自社設備 データセキュリ データが外部に保存されるため、 データが外部に保存されるため、 社内でデータを管理し、 ティ セキュリティ懸念あり セキュリティ懸念あり 社内情報が外部漏れする可能性が低い 実行環境の構築に GPUを含め実行環境の 初期費用 低い 費用がかかる インフラ構築の費用は高い 保守やアップグレードの費用以外は 運用費用 使用量に応じて変動 使用量に応じて変動
Slide 16: オンプレミス環境で利用できるLLMモデル
02 導入 RAGの導入 オンプレミス環境で利用できるLLMモデル ※ 2024年7月時点 オンプレミス環境において、最適なLLMを選定する必要があります オンプレミス環境で使用可能な代表的なLLMモデル Llama-3.1 Calm3 Mixtral 8x7B Gemma 2 Phi-3 DBRX 開発元 Meta AI CyberAgent Mistral AI Google Microsoft Databricks 発表日時 24年7月23日 24年7月1日 24年6月8日 24年6月27日 24年4月23日 24年3月27日 サイズ*1 8B, 70B,405B 22B 47B(推論時
Slide 17: どのRAGサービスを利用するか
02 導入 RAGの導入 どのRAGサービスを利用するか ※ 2024年7月時点 各種サービスのメリット/デメリットを踏まえ、選定する必要があります 代表的なクラウドサービス*1 代表的なフレームワーク*2 Vertex AI Search Azure OpenAI and Conversation Amazon Bedrock LangChain Dify 開発元 Microsoft (Azure) Google (GCP) Amazon (AWS) LangChain LangGenius ライセンス 有償 (トークンで課金) 有償 (クエリで課金) 有償 (インデックス作成時間で課金)
Slide 18: RAGの性能評価と性能改善
RAGの性能評価と性能改善 ©2024 TDSE Inc. 17
Slide 19: RAGの性能評価
03 性能 性能評価と性能改善 RAGの性能評価 構築したRAGシステムに対して性能評価が必要です 構築したRAGシステムに対して、客観的な性能評価が必要です。 性能評価を実施することで、RAGシステムの性能の把握・再調整の必要有無の判断が可能です。 RAGを構築した段階でのオフライン評価 システムリリース後のオンライン評価 具体的な評価指標で、 RAGシステムの品質を確認し、性能が検証 システムのリリース後も、定期的に性能評価とフィードバックす された信頼性があるRAGシステムを確保できます。これにより、 ることで、RAGシステムの長期的一貫性を確認できます。 実運用前に重大な欠陥を排除でき
Slide 20: RAGの性能はどうやって評価するのか
03 性能 性能評価と性能改善 RAGの性能はどうやって評価するのか RAGの性能は、｢検索側｣と｢生成側｣の両側面から評価します ユーザ UI UI ユーザ 生成文はいかに評価するか 現実的な応答時間か 妥当な回答か 運用上現実的な応答時間か 質問に自然に答えられており、回答は 他の言語モデルで評価を行うのか、 ※性能をあげると、トレードオフとして応答時間が 冗長にならず、関連情報はリッチか ベンチマークを利用するのか、主観 遅くなる可能性があります 評価を行うのか、目的に適した手法 RAGの 生成側 はどれだと考えられるか 回答 ハルシネーションはないか 曖昧さを含む場合や関連データがない
Slide 21: RAGの性能を評価する流れ
03 性能 性能評価と性能改善 RAGの性能を評価する流れ RAGの性能評価は、オフライン・オンライン評価二つの段階があります ベクトル 追加 人で作る OR 評価 性能向上 性能向上 ユーザ 自動/人工 検証質問文 コンテキスト 真の回答 LLM フィードバック 性能評価 検証用データセット リリース LLMから生成 検証セットを構築 オフライン評価・性能向上 リリース・運用 オンライン評価・性能向上 RAGの性能を評価するため その後、オフライン評価（事前評価）を行い、 実装後、長期間において高い性能を保つために、定期的にRAGの に、まずは元のデータセッ RAGの回答の正確さや一貫性、関
Slide 22: どんな性能指標で評価するのか
03 性能 性能評価と性能改善 どんな性能指標で評価するのか ※ 2024年7月時点 各種RAG評価指標を用いて、RAGシステムの性能を評価できます … RAGの技術は現在も進化の途上であり、RAGの性能評価方法にはまだ一般的に受け入れられた基準が確立されていません。 ここでは、RAG性能評価のフレームワークとして広く用いられているRAGASで採用されている代表的な４つの評価指標と、 研究論文で提案されている評価指標について紹介します。 RAGASで採用されている評価指標 RAGASでは採用されていないが、必要性が指摘されている評価指標 未知情報の 情報の 回答の関連性 コンテキストの コンテ
Slide 23: 性能改善の手法：事前準備の改善
03 性能 性能評価と性能改善 性能改善の手法：事前準備の改善 作成するベクトルDBの下準備の仕方によって性能が向上します ドキュメント 抽出 チャンキング インデックス 埋め込み ベクトルDB 関連データ LLM 事前準備と検索前の処理 データ クレンジング メタデータの追加 不要データに起因して生じる検索の冗長性・応答品 日付や分類などのメタデータをチャンクに埋め込み 質の低下*を回避するため、データクレンジングを ます。インデックスを複数チャンクに分割すると検 行い、ドキュメントの粒度を高めます。 索効率が落ちるためメタデータでふるいに掛けます。 * QAタスクの正答率は、関連文書参照＞
Slide 24: 性能改善の手法：検索の改善
03 性能 性能評価と性能改善 性能改善の手法：検索の改善 入力文をいかに効果的に利用して検索するかによって性能が向上します ドキュメント 抽出 チャンキング インデックス 埋め込み ベクトルDB 関連データ LLM 検索と検索後の処理 検索手法のハイブリッド化 検索結果の順位付け (RAGフュージョン) ベクトル検索のアルゴリズムの最適化やメタデータ ユーザからの質問文で直接検索を行わず、類似した を利用したフィルタリングを行うとともに、キー 質問を複数派生させ、それぞれのベクトル検索の結 ワード検索や意味検索などと組合せます。 果に順位付け*し、最も関連度の高い回答を返します。 * 代表的
Slide 25: 具体的な性能改善の手法の導入例：事前準備の改善
03 性能 性能評価と性能改善 具体的な性能改善の手法の導入例：事前準備の改善 TDSEでは、効果的なポイントに絞って性能改善手法を導入します 非関連要素の排除 不要文書のフィルタリング チャンクの分割戦略 Webスクレイピングによる関連文章検索 ベクトルDBに取り込む文書は、多ければ ドキュメントをチャンクと呼ばれる小さ を扱った論文では、無関係なページ等の 良いわけではありません。Wikipediaの な単位で区切る際、文や単語を構成する 情報が混入していると、回答精度が落ち 文章を読み込んだ事例では、文書数を 最小の単位であるトークンを基準に区切 ることが示されています。すなわち、 20
Slide 26: 具体的な性能改善の手法の導入例：検索の改善
03 性能 性能評価と性能改善 具体的な性能改善の手法の導入例：検索の改善 TDSEでは、効果的なポイントに絞って性能改善手法を導入します 質問文の拡張 検索結果の再ランク付け ハイブリッド検索 ユーザの質問が短いと、情報量の差や、 ユーザの質問のみでベクトル検索を行わ 意味類似性を考慮したベクトル検索 (セ 重複する単語数が少なさなどに起因し、 ず、類似した質問を複数生成し、それぞ マンティック検索) とキーワード検索を ベクトルデータとの類似度の計算が上手 れでベクトル検索を実行します。各質問 組み合わせることでベクトル検索を補完 くいかない場合があります。プロンプト の検索結果を｢逆順位
Slide 27: セキュリティに関する注意点
03 性能 性能評価と性能改善 セキュリティに関する注意点 自社データを用いる手前、セキュリティに注意する必要があります 主な注意すべき点 具体的な対策 プロンプト インジェクション 入力文のフィルタリング 違法行為の助長など、悪意ある命令 (プロンプト) に 入力文に対するフィルタリング処理や監視、有害な よって生成される有害な出力を防ぐ必要があります。 文字やコードを変換するサニタイズ処理が有効です。 機密情報の漏えい アクセス権限の付与 権限を持たない社員の質問で内部機密データにアク ユーザごとにアクセス権限を付与したり、検索対象 セスしてしまうような出力を防ぐ必要があります。 とする範
Slide 28: ©2024 TDSE Inc.
TDSE (©2024 TDSE Inc. & CM 27
Slide 29: LLMの現状、限界と継続的な改善
04 まとめ まとめ LLMの現状、限界と継続的な改善 １．LLMの現状 ２．LLMの限界 • 驚異的な進化を遂げている • 真の意識や理解には至っていない • 人間と自然な会話が可能 • 高度な論理的推論や複雑な問題解決能力に欠ける • 文章生成、知識ベースの対話が実現 • ハルシネーション（幻覚）の問題がある ３．精度向上の戦略 ４．今後の展望 • 高価値情報の事前準備 • その他NLP技術との併用 • 高度なデータ構造化 • 技術進化に伴う新たな課題への対応 • ハイブリッドアプローチ • 継続的な研究開発の必要性 • 継続的な評価と改善 お問 合 せ ©2024 TDSE Inc. 資
Slide 30: TDSEのLLM活用支援サービス
04 まとめ TDSEのLLM活用支援サービス サービス概要 LLMをビジネス活用するために必要なアセスメントから運用まで一気通貫でご支援します。 また、それらの活動を支えるLLMOpsもご支援します。 STEP 1 STEP 2 STEP 3 LLM活用アセスメント ソリューション 運用・改善支援 LLM活用業務へのLLM実装を支援 LLM活用ができる業務の洗い出し、 LLM実装後の運用を支援 業務に適したLLMの選定や、 概要 実現性や効果を加味した 必要に応じてチューニングなどの 周辺の業務アプリ開発など、 優先度付けを実施 改善も実施 ビジネス実装を支援 期間 1カ月～ 2カ月～ 応相
Slide 31: TDSEのLLMの特長
04 まとめ TDSEのLLM活用支援サービス TDSEのLLMの特長 OpenAI社のChatGPTをはじめとして、各クラウドにおけるLLMや商用利用可能なOSSのLLMなど、 複数の選択肢の中から最適なものを選定し、活用環境の構築をご支援いたします。 活用テーマ • 複数LLMの比較調査、簡易検証 • 該当テーマにおける性能評価 • メンテナンス性 • コスト見立て（本格開発時、運用時）など AI LLMOps プラットフォーム PromptFlow ChatGPT PaLM2 Gemini （Microsoft） Azure AWS (OpenAI) (Google) (Google)
Slide 32: 弊社へのRAG導入依頼後のフロー
04 まとめ TDSEのLLM活用支援サービス 弊社へのRAG導入依頼後のフロー RAG用のドキュメント抽出から実装まで、TDSEにご依頼いただけます LLM導入 貴社導入済LLMにRAGを追加することも 目標性能の達成に向けて POINT 新規にLLMから導入することも可能です POINT 開発/評価を繰り返します ご依頼 ヒアリング RAG実装 性能評価 納品/導入 運用 ベクトル データ準備 抽出・加工 DB構築 活用アセスメント ソリューション 運用・活用支援 期間：1ヵ月～ 期間： 2ヵ月～ 期間： 応相談 ｢どのような利用を想定し 業務要件の詳細なヒアリングに基づき、ベクトルDBの
Slide 33: TDSEの強み
04 まとめ まとめ TDSEの強み ビジネス力、データサイエンス力、エンジニアリング力の3つの強みを生かし、 クライアント企業の変革をサポートします 国内最高峰のデータサイエンティスト集団 強み 有能な人材を採用することに加え、データサイエンティスト/データエンジニア １ の育成方法を開発し、共創しあう文化を醸成。さらに人財が活躍できる仕組み を強化し続けています。 ビジネス課題ファーストな技術力と実績 強み ビジネス課題ファーストで、多様なデータからアルゴリズムや分析手法を構築 ２ し、技術力及びノウハウを蓄積してきました。 常に先端技術を習得し、企業の課題解決に役立つ技術力と実用的なノウ
Slide 34: LLM活用に関するご相談を随時お受けしております。
本日はウェビナーへのご参加ありがとうございました！ LLM活用に関するご相談を随時お受けしております。 お気軽にご相談をお寄せください TDSE株式会社 〒163-1427 東京都新宿区西新宿3-20-2 東京オペラシティタワー27F 03-6383-3261 info@tdse.jp www.tdse.jp ▼ぜひお気軽にお問い合わせ下さい お問 い合 わせはこちら 各ちら こ 種 資 料 ダウンロードは 各種資料ダウンロードは お問い合わせはこちら こちら この文書は、著作権法及び不正競争防止法上の保護を受けております。文書の一部或いは全てについて、TDSE株式会社から許諾を得ずに、いかな
Slide 35: Appendix
補足資料 Appendix ©2024 TDSE Inc. 34
Slide 36: Ap. Graph RAGについて
Ap. Graph RAGについて 補足 補足資料 ※ 2024年7月時点 従来の性能を超えるGraph RAG 、2024年7月一般利用可能に 従来のRAGシステムの弱点を補完し、性能を向上させた Graph RAGとは、LLMの力を利用して非構造化テキストから意味のある構造化データを抽 出するように設計されたデータパイプラインおよび変換スイートです。 従来のRAGシステムは、矛盾する情報を生成しやすい、適切な情報を見つけにくい、情報 を効果的に統合しにくいといった弱点がありました。 Graph RAGを支える基本的な流れは以下になります。 • LLMはデータセット全体を処理し、ソースデータ
Slide 37: Ap. Graph RAGについて (ナレッジグラフ)
Ap. Graph RAGについて 補足 補足資料 ※ 2024年7月時点 ナレッジグラフとは？ 例： Context: 坂本 龍馬（さかもと りょうま、天保6年11月15日 〈1836年1月3日〉 - 慶応3年11月15日〈1867年12月10日〉）は、 日本の幕末の土佐藩士、志士、経営者。諱は直陰（なおかげ）。 他に才谷 梅太郎（さいたに うめたろう）などの変名がある。 プロパ ティ ノード ノード LLMで情報抽出 A エッジ B ナレッジグラフ（一部） Graph RAGにおけるナレッジグラフ(Knowledge Graph)とは、データ間 の関係を表現するために使用されるグラフ構造の