本项目记录是作者再llm学习过程中的总结，包括三大部分：
1、相关论文：有英文原文，以及作者的翻译版本，论文包括transformer、bert、gpt-1、gpt-2、gpt-3、instructgpt。
2、ppt：以课程体系的方式编写了ppt，从大模型应用开发切入，逐步讲解了大模型发展历史中的主要算法，适合科研人员学习，也适合工程师学习，共七章，大纲见下。
3、相关代码：与课程体系配套的代码，包括promt工程、langchain应用、哈佛nlp团队的transformer论文复现代码，基于transformers库的简洁bert微调代码，生成类的SFT代码。

part1: 论文
1）Transformer_en.pdf & Transformer_ch.pdf: Transformer的原论文和翻译版本。
2) BERT_en.pdf & BERT_ch.pdf: BERT的原论文和翻译版本。
3）GPT-1_en.pdf & GPT-1_ch.pdf: GPT-1的原论文和翻译版本。
4）GPT-2_en.pdf & GPT-2_ch.pdf: GPT-2的原论文和翻译版本。
5）GPT-3_en.pdf & GPT-3_ch.pdf: GPT-3的原论文和翻译版本。
6）InstructGPT_en.pdf & InstructGPT_ch.pdf: GPT-3的原论文和翻译版本。

part2: ppt课程体系
---- 大模型应用程序开发
第一章 大模型提示工程
1.1 大模型简介及其学习必要性
1.2 提示运用的技巧
1.3 常见的提示方法：总结、推断、转换和扩展
1.4 合规检查
1.5 思维链推理
1.6 提示链推理
1.7 基于大模型API构建客服机器人
第二章 LangChain工具及应用
2.1 LangChain简介
2.2 模型、提示和解析器
2.3 记忆机制
2.4 模型链结构
2.5 代理机制
2.6 RAG: 访问本地文档
2.7 搭建基于本地知识库的问答系统
---- 大模型理论与进阶
第三章 自然语言处理综述    
3.1 自然语言处理简介：概念、难点、任务和历史
3.2 机器学习一般过程
3.3 词的表示：独热表示和词嵌入表示
3.4 模型表示：MLP、RNN和LSTM三种神经网络结构
3.5 模型训练：损失函数、正则化和参数优化
3.6 模型评估：分类、解析、生成、回归四大问题评估方法
第四章 Transformer详解及翻译模型搭建    
4.1 Transformer简介：基于自注意力机制的Seq2Seq模型
4.2 自注意力机制：充分考虑上下文
4.3 Transformer模型架构：输入、编码器、解码器和输出
4.4 Transformer训练过程
4.5 Transformer代码实操：了解大模型奠基性算法内核
第五章 BERT算法原理及实践案例    
5.1 BERT简介：基于 Transformer 编码器的预训练模型
5.2 BERT预训练：掩码语言模型（MLM）和下一句预测（NSP）任务
5.3 BERT的微调：单句分类、句子对分类、问答、命名实体识别
5.4 典型微调任务实践
第六章 GPT模型系列理论介绍    
6.1 GPT简介：基于 Transformer 解码器的预训练生成模型
6.2 GPT-1：预训练+微调
6.3 GPT-2：预训练+Zero Shot
6.4 GPT-3：预训练+Few Shot
6.5 InstructGPT：向人类对齐
第七章：大模型微调技术及医疗问诊机器人实战    
7.1 大模型微调相关原理：定义、分类、作用和过程
7.2 模型量化和LORA技术
7.3 自监督模式微调
7.4 问答模式微调
7.5 多轮会话模式微调
7.6 医疗问诊机器人项目实战

part3: 课程体系对应的代码
---- 大模型应用程序开发
第一章：大模型提示工程.ipynb
第二章：LangChain工具及应用.ipynb
---- 大模型理论与进阶
第四章：Transformer详解及翻译模型搭建.ipynb：Transformer论文复现代码，可以据此进行Transformer相关理论研究。
第五章：BERT算法原理及实践案例_bert_classify.ipynb：bert分类微调代码。
第五章：BERT算法原理及实践案例_bert_ner.ipynb：bert实体识别微调代码。
第五章：BERT算法原理及实践案例_bert_similarity.ipynb：bert相似度计算微调代码。
第七章：大模型微调技术及医疗问诊机器人实战_sft_base.ipynb：包含自监督模式、问答模式、多轮会话模式三种类型的SFT代码。
第七章：大模型微调技术及医疗问诊机器人实战_sft_med_bot.ipynb：基于医疗多轮会话训练医疗机器人代码。