一.数据集描述 1.数据集摘要 该数据集包含与心理健康相关的问题和答案的对话对，以单一文本形式呈现。数据集是从流行的医疗博客（如WebMD、Mayo Clinic和HealthLine）、在线常见问题等来源精选而来的。所有问题和答案都经过匿名化处理，以删除任何个人身份信息（PII），并经过预处理以删
语义増强可编程图谱框架：新一代知识图谱语义框架/引擎、SPG+LLM双驱架构及应用相关进展和应用。《语义增强可编程知识图谱SPG》白皮书 v1.0.pdf: https://url39.ctfile.com/f/2501739-941002398-f8f1f0?p=2096 (访问密码: 2096)
Llama2-Chinese项目给出pretrain的data为QA数据格式，可能会有疑问pretrain不应该是Text数据格式吗？而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术，给出pretrain的data为Text数据格式。所以推测应该pre
以前使用Neo4j图数据库，考虑到生产环境需要最终选择了NebulaGraph图数据库。对于数据要求比较高的领域，比如医疗、财务等，暂时还是离不开知识图谱的。后面主要围绕LLM+KG做一些行业解决方案和产品，涉及的技术主要是对话、推荐、检索这3个大的方向，可用于客服系统和聊天机器人等。 1.安装Ne
图数据库是专门存储庞大的图形网络并从中检索信息的数据库。它可以将图中的数据高效存储为点（Vertex）和边（Edge），还可以将属性（Property）附加到点和边上。本文以示例数据集basketballplayer为例，通过nGQL操作和Python脚本两种方式构建图谱。数据[10]和代码[9]详
本文重点介绍了如何从零训练一个BERT模型的过程，包括整体上BERT模型架构、数据集如何做预处理、MASK替换策略、训练模型和保存、加载模型和测试等。 一.BERT架构 BERT设计初衷是作为一个通用的backbone，然后在下游接入各种任务，包括翻译任务、分类任务、回归任务等。BERT模型架构如下
随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含lmdeploy、FasterTransformer和vLLM等。 一.lmdeploy推理部署 lmdeploy由上海人工智能实验室开发，推理使用C++/CUDA，对外提供pyth
测试问题筛选自AtomBulb[1]，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。 1.测试中的Prompt 例如对于问题"列出5种可以改善睡眠质量的方法"，如下所示： [INST] <>You are a helpf
本文介绍了Llama2模型集成LangChain框架的具体实现，这样可更方便地基于Llama2开发文档检索、问答机器人和智能体应用等。 1.调用Llama2类 针对LangChain[1]框架封装的Llama2 LLM类见examples/llama2_for_langchain.py，调用代码如下
TRL（Transformer Reinforcement Learning）是一个使用强化学习来训练Transformer语言模型和Stable Diffusion模型的Python类库工具集，听上去很抽象，但如果说主要是做SFT（Supervised Fine-tuning）、RM（Reward
什么是CUDA？CUDA（Compute Unified Device Architecture,统一计算设备架构）是NVIDIA（英伟达）提出的并行计算架构，结合了CPU和GPU的优点，主要用来处理密集型及并行计算。什么是异构计算？这里的异构主要指的是主机端的CPU和设备端的GPU，CPU更擅长逻
主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA 解析：2007年，NVIDIA推出CUDA（Compute Unified Device Architecture，统一计算设
主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.闭扫描和开扫描 对于一个二元运算符和一个元输入数组。如果返回输出数组为，那么是闭扫描；如果返回输出数组为，那么是开扫描。串行闭扫描算法，
主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA数组 解析：CUDA数组是使用cudaMallocArray()、cudaMalloc3DArray()分配的，使用cudaFr
Boost官方于2019年12月发布的1.72版编写，共包含160余个库/组件，涵盖字符串与文本处理、容器、迭代器、算法、图像处理、模板元编程、并发编程等多个领域，使用Boost，将大大增强C++的功能和表现力。环境：Windows 10，WSL2，Ubuntu 20.04 LTS，Rider（WS
主要整理了N多年前（2010年）学习C++的时候开始总结的知识点，好长时间不写C++代码了，现在LLM量化和推理需要重新学习C++编程，看来出来混迟早要还的。 1.shared_ptr 解析：shared_ptr是一种计数指针，当引用计数变为0时，shared_ptr所指向的对象将会被删除。如下所示
主要整理了N多年前（2010年）学习C++的时候开始总结的知识点，好长时间不写C++代码了，现在LLM量化和推理需要重新学习C++编程，看来出来混迟早要还的。 1.const_cast (expression)[1] 解析：const_cast转换符用来移除变量的const或v
ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第2代版本，引入新的特性包括更长的上下文(基于FlashAttention技术，将基座模型的上下文长度由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练)；更高效的推理(基于Multi-QueryAtte
由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base和经过PPO训练的Chat版本，并提供了Chat版本的4bits量化。 一.Baichuan2模型 B
在官方例子中给出了通过chain = NebulaGraphQAChain.from_llm(ChatOpenAI(temperature=0), graph=graph, verbose=True)来检索NebulaGraph图数据库。本文介绍了通过GPT2替换ChatOpenAI的思路和实现，暂
