Step1-定义数据集 用于创建 ChatGPT 的数据集为 570 GB。假设数据集为一下内容： 白日依山尽，黄河入海流。 马无夜草不肥，人无横财不富。 天行健，君子以自强不息，地势坤，君子以厚德载物。 Step2-计算词汇量
需求 项目目标 构建一个基于大模型微调的AI试题问答系统，支持数学、历史、英语等多学科试题的智能解析、答案生成及知识点关联，适配考试场景的自动评分与错题分析功能。 核心功能需求 试题交互与解析：支持选择、填空、判断、问答等题型交互，自动生成试题解析（含解题步骤与知识点标注）。 智能查询
环境配置 internlm2 模型部署 创建虚拟环境 conda create -n deepseek_rag python=3.10 -y conda activate deepseek_rag 并在环境中安装运行 demo 所需要的依赖 # 升级pip python -m pip install
构建环境 # 创建虚拟环境 conda create --name xtuner-env python=3.10 -y conda activate xtuner-env # 安装xtuner git clone https://github.com/InternLM/xtuner.git cd
数据集 数据集下载：通过ModelScope获取原始数据集https://modelscope.cn/datasets/w10442005/ruozhiba_qa/summary git clone https://www.modelscope.cn/datasets/w10442005/ruozh
矩阵分解是一种通过将较大的矩阵分解为多个小矩阵已降低计算复杂度的技术，在模型训练微调上，通常用于简化模型、提高训练效率。矩阵分解有多种形式，一下是几种常见的模型微调权重分解方法： 奇异值分解 将矩阵分解为三个矩阵乘积的方法： W=U \Sigma V^{T} 其中： W是原始权重矩阵。 U和V是正交
本文旨在通过最基础的数学内容，剔除机器学习中复杂的术语，从零描述LLM的工作原理。
相关阅读http://zxse.cn/archives/1736429562536http://zxse.cn/archi
简介https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md LLama-Factory整合主流训练微调技术，适配LLaMA、Qwen、ChatGpt等主流开源模型，包含预训练（pt），指令微调（sft），基于人工反馈的对齐（rl
Ollama 安装Ollamahttps://ollama.com/download 使用Ollama 启动Ollama ollama serve 拉取模型 ollama pull llama3 </
在自然语言处理（NLP）任务中，词汇表（vocab）是模型理解文本的基础。一个良好的词汇表可以显著提升模型的性能和泛化能力。 词汇表的修改 加载预训练模型和分词器 首先加载预训练的BERT模型及其对应的分词器（`BertTokenizer`）。以下是代码示例： from transformers i
Transformer 是一种神经网络架构。Transformer 最初在2017年的论文《Attention is All You Need》中被提出，并迅速成为深度学习模型的首选架构，广泛应用于文本生成、音频生成、图像识别、蛋白质结构预测等多个领域。 核心组件:每个基于Transformer的文
GPT-2 是一种基于 Transformer 的生成模型，专注于生成连贯的文本。在 Hugging Face 的Transformers 库中，GPT-2 已经被应用于多种中文文本生成任务，如古诗词、歌词和对联生成等。 GPT-2模型 from transformers import BertTo
在自然语言处理（NLP）任务中，处理超长文本（通常指长度超过模型最大支持长度的文本）是一个常见的挑战。BERT等预训练模型通常具有固定的最大序列长度限制（例如，BERT-base的最大序列长度为512个标记）。当需要处理超过这个长度的文本时，需要采取特定的策略来确保模型能够有效地处理这些数据。 Be
数据集的类别均衡性对模型的性能有着至关重要的影响。当数据集中某些类别的样本数量远多于其他类别时，就会出现数据不均衡问题。这种不平衡可能导致模型在训练过程中偏向多数类，从而影响对少数类的预测性能。 问题描述 分类数据集统计 import pandas as pd # 读取CSV文件 csv_file
订单状态流转是交易系统的最为核心的功能，复杂的订单系统会存在状态多、链路长、逻辑复杂的特点，针对不同的商品、业务、发货方式还存在多场景、多类型、多业务维度等业务特性。在保证订单状态流转稳定性的前提下、可扩展性和可维护性由是需要重点关注和解决的问题。 以公司目前的订单系统为例，订单状态有待支付、支付成
RocketMQ 总共可以分成四个模块 NameServer：提供服务发现和路由功能，管理各种元数据信息。 Broker：消息存储和路由分发节点，负责存储消息和将消息路由给消费者。 Producer：消息生产者，负责产生并发送消息到指定的 T
redis集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性,不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展。 redis下载安装 参考<Redis使用> Redis集群搭建 redis集群需要
# 一、代理模式 ## 定义 由于某些原因需要给某对象提供一个代理以控制对该对象的访问。这时，访问对象不适合或者不能直接引用目标对象，代理对象作为访问对象和目标对象之间的中介。 代理模式的主要优点有： - 代理模式在客户端与目标对象之间起到一个中介作用和保护目标对象的作用； - 代理对象可以扩展目标
面向接口编程思想、多态思想-解耦代码逻辑 在领域驱动设计（DDD）的上下文中，适配器（Adapter）模式扮演着至关重要的角色。适配器模式允许将不兼容的接口转换为另一个预期的接口，从而使原本由于接口不兼容而不能一起工作的类可以协同工作。在DDD中，适配器通常与端口（Port）概念结合使用，形成"端口
Step1-定义数据集 用于创建 ChatGPT 的数据集为 570 GB。假设数据集为一下内容： 白日依山尽，黄河入海流。 马无夜草不肥，人无横财不富。 天行健，君子以自强不息，地势坤，君子以厚德载物。 Step2-计算词汇量
需求 项目目标 构建一个基于大模型微调的AI试题问答系统，支持数学、历史、英语等多学科试题的智能解析、答案生成及知识点关联，适配考试场景的自动评分与错题分析功能。 核心功能需求 试题交互与解析：支持选择、填空、判断、问答等题型交互，自动生成试题解析（含解题步骤与知识点标注）。 智能查询
环境配置 internlm2 模型部署 创建虚拟环境 conda create -n deepseek_rag python=3.10 -y conda activate deepseek_rag 并在环境中安装运行 demo 所需要的依赖 # 升级pip python -m pip install
构建环境 # 创建虚拟环境 conda create --name xtuner-env python=3.10 -y conda activate xtuner-env # 安装xtuner git clone https://github.com/InternLM/xtuner.git cd
数据集 数据集下载：通过ModelScope获取原始数据集https://modelscope.cn/datasets/w10442005/ruozhiba_qa/summary git clone https://www.modelscope.cn/datasets/w10442005/ruozh