admin 管理员组文章数量: 887007
Python 机器学习/深度学习/算法专栏/LLM
目录
一.简介
二.机器学习
三.深度学习
四.数据结构与算法
五.LLM
六.日常工具
一.简介
Python 机器学习、深度学习、算法主要是博主从研究生到工作期间接触的一些机器学习、深度学习以及一些算法的实现的记录，从早期的 LR、SVM 到后期的 Deep，从学习到工作，从理论推导到实践，也是记录了自己几年来的成长。下面对这几块内容做一下整理，方便读者浏览也方便自己快速查找。
- 机器学习
- 深度学习
- 数据结构与算法
- LLM
除此之外，也有一些日常开发的小组件，例如自动获取 Bing 壁纸、自动发邮件等等，也会单独记录在日常工具中
- 日常工具
Tips 更新日期 20230811:
新增 LLM 模块整理，就最近的一些 LLM 相关工作心得进行整理。
二.机器学习
机器学习内容主要在博主读研期间编写，多为常规数据量下的 Python 实现与公式推导。
| 适用 | 文章 | 关键字 |
| Python | 机器学习 - 1.KNN 原理与实战 | KNN、聚类 |
| Python | 机器学习 - 2.决策树原理与实战[1] | 决策树 |
| Python | 机器学习 - 3.决策树原理与实战[2] | 决策树 |
| Python | 机器学习 - 4.朴素贝叶斯原理与实战[1] | 朴素贝叶斯、伯努利 |
| Python | 机器学习 - 5.朴素贝叶斯原理与实战[2] | 朴素贝叶斯实战 |
| Python | 机器学习 - 6.Logistic 回归原理 | Sigmod、梯度 |
| Python | 机器学习 - 7.Logistic 回归实战 | 随机梯度上升 |
| Python | 机器学习 - 8.Logistic 回归参数详解 | LR 参数详解 |
| Python | 机器学习 - 9.SVM 拉格朗日乘子与对偶问题 [1] | 对偶问题 |
| Python | 机器学习 - 10.SVM SMO 算法公式推导 [2] | SMO 公式 |
| Python | 机器学习 - 11.SVM 软间隔与松弛因子 [3] | 软间隔与松弛因子 |
| Python | 机器学习 - 12.SVM Alpha范围界定与调整 [4] | Alpha 范围界定 |
| Python | 机器学习 - 13.SVM SMO 算法实现 [5] | SMO 实现 |
| Python | 机器学习 - 14.SVM 核函数原理 [6] | 核函数原理 |
| Python | 机器学习 - 15.SVM 核函数实现 [7] | 核函数实现 |
| Python | 机器学习 - 16.SVM 实现与绘图 [8] | 支持向量标记 |
| Python | 机器学习 - 17.LASSO 回归与 L1 正则化 | LASSO 回归、L1正则 |
| Python | 机器学习 - 18.集成学习 弱分类器与 AdaBoost 简介 | Adaboost 理论 |
| Python | 机器学习 - 19.集成学习 AdaBoost 更新准则推导 | Adaboost 更新原理 |
| Python | 机器学习 - 20.集成学习 AdaBoost 实现 | Adaboost 实现 |
| Python | 机器学习 - 21.集成学习 Bagging 原理与实现 | Bagging 理论与实践 |
| Python | 机器学习 - 22.集成学习 随机森林原理与实现 | 随机森林实践 |
| Python | 机器学习 - 23.线性回归与实现 | 自定义简单线性回归 |
| Python | 机器学习 - 24.局部加权线性回归 | 自定义局部加权线性回归 |
三.深度学习
深度学习内容主要在工作空闲时间编写，主要是工作中一些内容的思考与引申，后面主要会基于 TF x Keras 扩展常规的推荐算法实现。
| 适用 | 文章 | 关键字 |
| TF x Keras | 深度学习 - 1.TF x Keras Train And Evaluate Demo | Train Demo |
| TF x Keras | 深度学习 - 2.TF x Keras 自定义 Loss 与 Metrics | Loss Metrics |
| TF x Keras | 深度学习 - 3.TF x Keras 常见参数初始化方法 | 参数初始化 |
| TF x Keras | 深度学习 - 4.TF x Keras 训练时对样本和类别加权 | 样本、类别加权 |
| TF x Keras | 深度学习 - 5.TF x Keras 编写回调函数 | 回调 CallBack |
| TF x Keras | 深度学习 - 6.TF x Keras SoftMax 自定义实现 | 自定义 Softmax |
| TF x Keras | 深度学习 - 7.TF x Keras expand_dim 扩充维度 | 扩充维度 |
| TF x Keras | 深度学习 - 8.TF x Keras AutoEncoder 2D、3D 展示 | AutoEncoder |
| TF x Keras | 深度学习 - 9.TF x Keras 基于 Processing 与 Embedding 的文本处理 | 文本预处理 |
| TF x Keras | 深度学习 - 10.TF x Keras 基于 CNN 与 RNN 的温度预测问题 | CNN、RNN |
| TF x Keras | 深度学习 - 11.TF x Keras 多输入模型 | 多输入模型 |
| TF x Keras | 深度学习 - 12.TF x Keras 多输出模型 | 多输出模型 |
| TF x Keras | 深度学习 - 13.TF x Keras Inception 模块 | Inception |
| TF x Keras | 深度学习 - 14.TF x Keras 共享层与共享模型 | 共享层、模型 |
| TF x Keras | 深度学习 - 15.TF x Keras WideAndDeep | WideAndDeep |
| TF x Keras | 深度学习 - 16.TF x Keras Losses 常见损失函数 | Losser 损失函数 |
| TF x Keras | 深度学习 - 17.TF x Keras FM 原理与实现 | FM 原理与实现 |
| TF x Keras | 深度学习 - 18.TF x Keras DeepFM 原理与实现 | DeepFM 原理 |
| TF x Keras | 深度学习 - 19.TF x Keras Batch Normalization 理论与实践 | BN 理论与实战 |
| TF x Keras | 深度学习 - 20.TF x Keras Dropout 理论与实践 | Dropout |
| TF x Keras | 深度学习 - 21.TF x Keras DSSM 理论与实践 | DSSM 双塔 |
| TF | 深度学习 - 22.TF TF1.x tf.string_split VS TF2.x tf.strings.split | string_split |
| TF | 深度学习 - 23.TF TF1.x tf.py_func VS TF2.x tf.py_function | py_function |
| TF | 深度学习 - 24.TF tf.cond 条件判断 | tf.cond 条件判断 |
| TF | 深度学习 - 25.TF TF1.x VS TF2.x tf.feature_column | feature_column |
| TF | 深度学习 - 26.TF TF2.x tf.feature_column 详解 | featur_column |
| TF x Keras | 深度学习 - 27.TF DataSet 使用与优化 | DataSet 使用 |
| TF x Keras | 深度学习 - 28.TF x Keras 训练中出现 Nan 值 | Nan 值处理 |
| Python | 深度学习 - 29.GraphEmbedding networks 获取图结构 | 图结构生成 |
| Python | 深度学习 - 30.GraphEmbedding DeepWalk 图文详解 | DeepWalk |
| TF x Keras | 深度学习 - 31.GraphEmbedding 向量降维与可视化 | 向量降维 |
| Python | 深度学习 - 32.GraphEmbedding Alias 采样图文详解 | Alias 采样 |
| Python | 深度学习 - 33.GraphEmbedding Node2vec 图文详解 | Node2vec |
| Python | 深度学习 - 34.GraphEmbedding Line 图文详解 | Line |
| TF x Keras | 深度学习 - 35.TF x Keras DeepFwFM、DeepFmFM 理论与实战 | FM 家族实战 |
| TF x Keras | 深度学习 - 36.TF x Keras TF 常用矩阵计算方法大全 | 矩阵乘法大全 |
| TF x Keras | 深度学习 - 37.TF x Keras Deep & Cross Network DCN 实现 | DeepCrossNet |
| TF x Gensim | 深度学习 - 38.Gensim Word2Vec 实践 | Word2vec |
| DeepLearning | 深度学习 - 39. EGES 与推荐系统用户冷启动 | EGES |
| TF x Keras | 深度学习 - 40. N-Gram 采样与 Session 数据获取 For EGES | Skipgram、EGES |
| TF x Keras | 深度学习 - 41.Word2vec、EGES 负采样实现 By Keras | Word2vec、EGES |
| DeepLearning | 深度学习 - 42.特征交叉与 SENET、Bilinear Interaction 与 FiBiNet | FiBiNet |
| TF x Keras | 深度学习 - 43.SeNET、Bilinear Interaction 实现特征交叉 By Keras | SeNet、BiLinear |
| DeepLearning | 深度学习 - 44.Gate 与 MMOE 实现多目标学习 | MoE、MMoE |
| TF x Keras | 深度学习 - 45.MMOE && Gate 简单实现 By Keras | MMoE、Gate |
| DeepLearning | 深度学习 - 46.DIN 深度兴趣网络 | DIN、Attention |
| TF x Keras | 深度学习 - 47.DIN 深度兴趣网络保姆级实现 By Keras | DIN、Dice |
| DeepLearning | 深度学习 - 48.SIM Search-based Interest Model 搜索兴趣网络 | SIM |
| TF x Keras | 深度学习 - 49.SIM 搜索兴趣网络 GSU 与 Soft Search 实现 | SIM、GSU |
| DeepLearning | 深度学习 - 50.推荐场景下的 Attention And Multi-Head Attention | Attention、Multi |
| TF x Keras | 深度学习 - 51.推荐场景下的 Attention And Multi-Head Attention 实现 | Attention、Multi |
| DeepLearning | 深度学习 - 52.推荐场景的多样性与 MMR 简介 | MMR |
| TF x Keras | 深度学习 - 53.Bert 简介与 Keras-Bert 常用示例 | Bert |
四.数据结构与算法
主要是学习与工作闲暇时间做一些有意思的题目，保持代码手感。
| 适用 | 文章 | 关键字 |
| Python | 算法 -1.快速排序 | 快排 |
| Python | 算法 - 2.栈与队列 | 栈 |
| Python | 算法 - 3.链表反转 | 链表 |
| Python | 算法 - 4.二叉树实现 | 二叉树 |
| Python | 算法 - 5.rand7 生成 rand10 | 概率 |
| Python | 算法 - 6.二分法与牛顿法求指定精度平凡根 | 二分法、牛顿法 |
| Python | 算法 - 7.二分法判断数组是否存在目标数字 | 二分法 |
| Python | 算法 - 8.二叉树 DFS 前序、中序、后序遍历 | DFS |
| Python | 算法 - 9.二叉树层序遍历 | BFS |
| Python | 算法 - 10.寻找和为指定偶数的质数对 | 质数 |
| Python | 算法 - 11.动态规划之寻找并显示所有路径 | 动态规划 |
| Python | 算法 - 12.判断数组中是否存在目标字符串 | 回朔 |
| Python | 算法 - 13.求两数的最大公约数与最小公倍数 | 公约数、公倍数 |
| Python | 算法 - 14.求数组的全排列 | 全排列 |
| Python | 算法 - 15.判断两树是否相同 | 二叉树 |
| Python | 算法 - 16.寻找最大矩阵 数字版 & 矩阵版 | 数形结合 |
| Python | 算法 - 17.两数相加 有链表 & 无链表 | 链表 |
| Python | 算法 - 18.两数相除 递进版 | 两数相除 |
| Python | 算法 - 19.最大堆实现与应用 | 最大堆 |
| Python | 算法 - 20.最小堆实现与应用 | 最小堆 |
| Python | 算法 - 21.返回1至n中所有可能的K个数的组合 | 递归 |
| Python | 算法 - 22.N皇后解法 数组 & 移位 | N 皇后 |
| Python | 算法 - 23.构造 O(1) 时间插入、删除与获取随机元素的集合 | 数据结构 |
| Python | 算法 - 24.寻找数组的子集 | 数组子集 |
| Scala | 算法 - 25.两数、三数、四数、N数之和 | N数之和 |
| Scala | 算法 - 26.无重复字符最长子串、最长回文子串 | 回文 |
| Python | 算法 - 27.Order in chaos 混乱中的秩序之随机点中值连线 | 中值连线 |
| Python | 算法 - 28.Huffman Tree 霍夫曼树实现与应用 | 霍夫曼树 |
| Python | 算法 - 29.随机 Coding 刷算法合集 [1] | 算法合集 |
五.LLM
| 适用 | 文章 | 关键字 |
| Python | LLM - 1.NotImplementedError: Cannot copy out of meta tensor； no data! | 资源异常 |
| Python | LLM - 2.Baichuan7B Tokenizer 生成训练数据 | Tokenizer |
| Python | LLM - 3.Baichuan7B Lora 训练详解 | Lora、Baichuan |
| Python | LLM - 4.DataCollatorForLanguageModeling 样本生成 by transformers | DataGen、Transformer |
| Python | LLM - 5.读取 Lora 模型进行文本生成 | Lora、generate |
| Python | LLM - 6.ChatGLM-6B Lora 微调与推理 | Lora、ChatGLM |
| Python | LLM - 7.Chinese-Llama-2-7b 初体验 | Chinese-LLaMA-2 |
| Python | LLM - 8.json 使用详解 | json 常用示例 |
| Python | LLM - 9.model batch generate 生成文本 | batch generate |
| Python | LLM - 10.LLama 模型读取报错 TypeError: not a string | 模型异常 |
| Python | LLM - 11.LoRA 模型合并与保存 | Lora、Model merge |
| Python | LLM - 12.Transformer && LLaMA2 结构分析与 LoRA 详解 | Transformer、LLaMA-2 |
| Python | LLM - 13.CUDA out of memory. 到底怎么事 | CUDA、OOM |
| Python | LLM - 14.argparse 解析脚本参数 | argparse |
| Python | LLM - 15.大模型评估指标之 BLEU | BLEU |
| Python | LLM - 16.大模型评估指标之 ROUGE | ROUGE |
| Python | LLM - 17.Model Load_in_8bit For LLaMA | Load_in_bit |
| Python | LLM - 18.Baichuan-13B 多卡加载与推理测试 | 多卡推理 |
| Python | LLM - 19.LLaMA-2 获取文本向量并计算 Cos 相似度 | 大模型评估 |
| Python | LLM - 20.大模型速递 Baichuan2 快速入门 | Baichuan2 |
| Python | LLM - 21.批量加载 dataset 并合并 | Dataset，Batch |
| Python | LLM - 22.数据处理之 Process Dataset For LLM With PT、SFT、RM | Preprocess，Dataset |
| Python | LLM - 23.SFT workflow 微调工作流程 | Workflow |
| Python | LLM - 24.大模型技术报告与训练细节 | baichuan2 |
| Python | LLM - 25.大模型速递 InternLM-20B 快速入门 | internLM |
| Python | LLM - 26.通俗理解位置编码与 RoPE | RoPE |
| Python | LLM - 27.FastAPI 搭建简易问答 Server | FastAPI，Server |
| Python | LLM - 28.旋转位置编码 RoPE 代码详解 | RoPE |
| Python | LLM - 29.训练与推理过程中的 GPU 算力评估 | GPU |
六.日常工具
这些工具主要是工作中经常需要制作表格和发邮件或者偶尔进行全局查找，所以才有这些工具组件。
| 适用 | 文章 | 关键字 |
| Python | 日常工具 - 1.Python 遍历文件夹，文件内容，批处理文件 | Python 看文件 |
| Python | 日常工具 - 2.多线程 Parallel / Multiprocessing 示例 | Python 多线程 |
| Python | 日常工具 - 3.openpyxl Excel 操作示例与实践 | Python 做表格 |
| Python | 日常工具 - 4.smtplib 发送 Excel 邮件与数据展示 | Python 发邮件 |
| Python | 日常工具 - 5.删除文件、文件夹 | Python 删文件 |
| Python | 日常工具 - 6.定时自动获取 Bing 首页壁纸 | Python 拿壁纸 |
| Python | 日常工具 - 7.Mac 光标特效 By CursorEffect2 | 鼠标拖尾特效 |
本文标签： Python 机器学习深度学习算法专栏LLM
版权声明：本文标题：Python 机器学习深度学习算法专栏LLM 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1732352238h1533420.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论