LangChain（大模型能力封装框架） 的基本使用
基于LangChain探索AGI时代原型
需提前安装环境依赖，以及设置环境变量，如果选择openai开放接口需要会上网
export OPENAI_API_KEY="b233095ff.00gIXhXyE8yNc3Hx"
export OPENAI_BASE_URL="https://open.bigmodel.cn/api/paas/v4"模型I/O封装（LLMs、Chat Models、PromptTemple、OutputParser）
数据链接封装（Document Loaders、Document Transformers、Text Embedding Models、VerctorStores、Retrievers）
对话历史管理
架构封装（Chain、Agent、Tools、Toolkits）
Callbacks
Step1-定义数据集 用于创建 ChatGPT 的数据集为 570 GB。假设数据集为一下内容： 白日依山尽，黄河入海流。 马无夜草不肥，人无横财不富。 天行健，君子以自强不息，地势坤，君子以厚德载物。 Step2-计算词汇量
环境配置 internlm2 模型部署 创建虚拟环境 conda create -n deepseek_rag python=3.10 -y conda activate deepseek_rag 并在环境中安装运行 demo 所需要的依赖 # 升级pip python -m pip install
数据集 数据集下载：通过ModelScope获取原始数据集https://modelscope.cn/datasets/w10442005/ruozhiba_qa/summary git clone https://www.modelscope.cn/datasets/w10442005/ruozh
矩阵分解是一种通过将较大的矩阵分解为多个小矩阵已降低计算复杂度的技术，在模型训练微调上，通常用于简化模型、提高训练效率。矩阵分解有多种形式，一下是几种常见的模型微调权重分解方法： 奇异值分解 将矩阵分解为三个矩阵乘积的方法： W=U \Sigma V^{T} 其中： W是原始权重矩阵。 U和V是正交
本文旨在通过最基础的数学内容，剔除机器学习中复杂的术语，从零描述LLM的工作原理。
GPT-2 是一种基于 Transformer 的生成模型，专注于生成连贯的文本。在 Hugging Face 的Transformers 库中，GPT-2 已经被应用于多种中文文本生成任务，如古诗词、歌词和对联生成等。 GPT-2模型 from transformers import BertTo