一.数据集工具介绍 HuggingFace通过API提供了统一的数据集处理工具，它提供的数据集如下所示： 该界面左侧可以根据不同的任务类型、类库、语言、License等来筛选数据集，右侧为具体的数据集列表，其中有经典的glue、super_glue数据集，问答数据集squad，情感分类数据集imdb
评估一个训练好的模型需要评估指标，比如正确率、查准率、查全率、F1值等。当然不同的任务类型有着不同的评估指标，而HuggingFace提供了统一的评价指标工具。 1.列出可用的评价指标 通过list_metrics()函数列出可用的评价指标： def list_metric_test(): # 第4
HuggingFace本身就是一个模型库，包括了很多经典的模型，比如文本分类、阅读理解、完形填空、文本生成、命名实体识别、文本摘要、翻译等，这些模型即使不进行任何训练也能直接得出比较好的预测结果。pipeline是HuggingFace提供的一个非常实用的工具，但是封装程度太高，需要看源码才能理解其
HuggingFace上提供了很多已经训练好的模型库，如果想针对特定数据集优化，那么就需要二次训练模型，并且HuggingFace也提供了训练工具。 一.准备数据集 1.加载编码工具 加载hfl/rbt3编码工具如下所示： def load_encode(): # 1.加载编码工具 # 第6章/加载
本文通过ChnSentiCorp数据集介绍了文本分类任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.任务和数据集介绍 1.任务 中文情感分类本质还是一个文本分类问题。 2.数据集 本文使用ChnS
一.多层前馈神经网络 首先说下多层前馈神经网络，BP算法，BP神经网络之间的关系。多层前馈[multilayer feed-forward]神经网络由一个输入层、一个或多个隐藏层和一个输出层组成，后向传播（BP）算法在多层前馈神经网络上面进行学习，采用BP算法的（多层）前馈神经网络被称为BP神经网络
1.Huffman树的构造 解析：给定n个权值作为n个叶子节点，构造一棵二叉树，若它的带权路径长度达到最小，则称这样的二叉树为最优二叉树，也称Huffman树。数的带权路径长度规定为所有叶子节点的带权路径长度之和。Huffman树构造，如下所示： （1）将看成是有n颗树的森林； （2）在森林中选出两
VGGNet和GoogLeNet等网络都表明有足够的深度是模型表现良好的前提，但是在网络深度增加到一定程度时，更深的网络意味着更高的训练误差。误差升高的原因是网络越深，梯度弥散[还有梯度爆炸的可能性]的现象就越明显，所以在后向传播的时候，无法有效的把梯度更新到前面的网络层，靠前的网络层参数无法更新，
1.TextCNN原理 CNN的核心点在于可以捕获信息的局部相关性，具体到文本分类任务中可以利用CNN来提取句子中类似N-Gram的关键信息。 （1）一维卷积：使用不同尺寸的kernel_size来模拟语言模型中的N-Gram，提取句子中的信息。即TextCNN中的卷积用的是一维卷积，通过不同ker
本文通过ChnSentiCorp数据集介绍了完型填空任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.完形填空 完形填空应该大家都比较熟悉，就是把句子中的词挖掉，根据上下文推测挖掉的词是什么。 二.
本文通过ChnSentiCorp数据集介绍了中文句子关系推断任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.任务简介和数据集 通过模型来判断2个句子是否连续，使用ChnSentiCorp数据集，不
2023年7月18日Meta开源了Llama2，在2万亿个Token上训练，可用于商业和研究，包括从7B到70B模型权重、预训练和微调的代码。相比Llama1，Llama2有较多提升，评估结果如下所示： 基于Llama2模型的开源模型如下所示： 1.WizardCoder Python V1.0 h
本文通过people_daily_ner数据集，介绍两段式训练过程，第一阶段是训练下游任务模型，第二阶段是联合训练下游任务模型和预训练模型，来实现中文命名实体识别任务。 一.任务和数据集介绍 1.命名实体识别任务 NER（Named Entity Recognition）和Pos（Part-of-S
本文通过文本分类任务演示了HuggingFace自动模型使用方法，既不需要手动计算loss，也不需要手动定义下游任务模型，通过阅读自动模型实现源码，提高NLP建模能力。 一.任务和数据集介绍 1.任务介绍 前面章节通过手动方式定义下游任务模型，HuggingFace也提供了一些常见的预定义下游任务模
Atom-7B与Llama2间的关系：Atom-7B是基于Llama2进行中文预训练的开源大模型。为什么叫原子呢？因为原子生万物，Llama中文社区希望原子大模型未来可以成为构建AI世界的基础单位。目前社区发布了6个模型，如下所示： FlagAlpha/Atom-7BFlagAlpha/Llama2
一.Protege简介、用途和特点 1.Protege简介 Protege是斯坦福大学医学院生物信息研究中心基于Java开发的本体编辑和本体开发工具，也是基于知识的编辑器，属于开放源代码软件。这个软件主要用于语义网中本体的构建，是语义网中本体构建的核心开发工具，下面操作使用版本为5.5.0。 2.P
虽然Llama2的预训练数据相对于第一代LLaMA扩大了一倍，但是中文预训练数据的比例依然非常少，仅占0.13%，这也导致了原始Llama2的中文能力较弱。为了能够提升模型的中文能力，可以采用微调和预训练两种路径，其中： 微调需要的算力资源少，能够快速实现一个中文Llama的雏形。但缺点也显而易见，
因为原生LLaMA对中文的支持很弱，一个中文汉子往往被切分成多个token，因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型，然后将中文tokenizer与LLaMA原生tokenizer进行合并，最终得到一个扩展后的tokenizer模型。国内Chinese
TorchLens：可用于可视化任何PyTorch模型，一个包用于在一行代码中提取和映射PyTorch模型中每个张量运算的结果。TorchLens功能非常强大，如果能够熟练掌握，算是可视化PyTorch模型的一把利剑。本文通过TorchLens可视化一个简单神经网络，算是抛砖引玉吧。 一.定义一个简
文本是参考文献[1]的中文翻译，主要讲解了Falcon-7B大型语言模型在心理健康对话数据集上使用QLoRA进行微调的过程。项目GitHub链接为https://github.com/iamarunbrahma/finetuned-qlora-falcon7b-medical，如下所示： 使用领域适
