LLM(大規模言語モデル)の基本原理

前提知識
　・LLMとは

■RAGとは

RAG（Retrieval-Augmented Generation）とは、大規模言語モデル（LLM）の文章生成能力に、外部情報検索を組み合わせた仕組みです。 LLMは学習時点までの知識しか保持していないため、最新情報や社内文書などのローカルな情報を直接扱えないという課題があります。 そこで、あらかじめ学習対象外の情報をデータベースとして整備しておき、ユーザーの質問に応じて関連情報を検索し、その結果をプロンプトとしてLLMに与えます。 LLMは検索された文書内容を参照しながら回答を生成します。

この仕組みにより、モデルを再学習させることなく、最新情報や特定ドメインの知識を反映した回答が可能になりますが、回答の精度は検索結果の品質に大きく依存するという特性があります。

■ナレッジグラフとは

RAGは一言で言えば「情報を探して読み、回答生成に活用する仕組み」です。 一方ナレッジグラフとは「情報を関係性として整理・表現するための手法」を指します。 ナレッジグラフでは、知識をエンティティ（人物・物・概念など）と、それらの間の関係として構造化しネットワーク状に表現します。 その基本単位は「主語―関係―目的語」からなるトリプルであり、事実、因果関係、階層構造、制約条件などを明示的に定義できます。 このように知識を構造化することで、論理的な整合性を保った検索や推論が可能となり、得られた結果の根拠を説明しやすい点が大きな特徴です。

そして、RAGとナレッジグラフを組み合わせることで、非構造な文書情報の柔軟な活用と、構造化知識に基づく厳密な推論を両立した、高度な知識活用が可能になります。

サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧 トップメニュー 機械学習 機械学習とは パラメトリックモデル 回帰,分類,クラスタリングの違い 分類(classification) 分類問題とは ナイーブベイズフィルタ 符号関数による分類 ロジスティック回帰 ・線形分離 ・非線形分離 サポートベクターマシン 決定木 k-近傍法 ニューラルネットワーク(NN) NNとは パーセプトロン 勾配法(最急降下法) ・機械学習への適用 損失関数(誤差関数) 誤差逆伝播法 交差検証 , ホールドアウト 活性化関数 ・ステップ , 符号関数 ・シグモイド ・ReLU ・Softmax ・tanh MNISTデータセット CIFAR-10データセット 画像認識方法 画像認識方法② 畳み込みNN(CNN) 再帰型NN(RNN) LSTM kerasによる実装例 ・NN ・CNN ・ディープラーニング クラスタリング k-means 強化学習 強化学習とは 価値関数 , ベルマン方程式 マルコフ決定過程 ε-greedy法 TD学習_スキナー箱 TD学習_Cartpole モンテカルロ法_Blackjack Deep Q-Network(DQN) ・DQNとは_スキナー箱 ・cartpole問題 ・Experience Replay 敵対的生成ネットワーク GAN DCGAN seqGAN seqGAN用文章データ作成 大規模言語モデル(LLM) LLMの基本原理 RAGとナレッジグラフの違い