本文主要讨论Langchain-Chatchat项目中自定义Agent问答的思路和实现。以"计算器工具"为例，简单理解就是通过LLM识别应该使用的工具类型，然后交给相应的工具（也是LLM模型）来解决问题。一个LLM模型可以充当不同的角色，要把结构化的Prompt模板写好，充分利用LLM的Zero/O
ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with OpenSSL 1.0.2k-fips 26 Jan 2017. See: https://gith
百度飞桨 PaddlePaddle 2.4.0 => Python 3.7.4 PaddlePaddle 2.4.1+ => Python 3.9.0 ### 下载 ```bash # 安装依赖 [root@localhost ~]# yum -y install zlib-devel bzip2-
原因为升级python后新建了软连接指向了新版本，除非同时升级yum不然无法使用。需要手动更改报错文件指向新版本后即可解决。 ```bash [root@localhost pdserving]# yum install -y tree File "/usr/bin/yum", line 30 ex
截至目前（2023年），Java8发布至今已有9年，2018年9月25日，Oracle发布了Java11，这是Java8之后的首个LTS版本。那么从JDK8到JDK11，到底带来了哪些特性呢？值得我们升级吗？而且升级过程会遇到哪些问题呢？带着这些问题，本篇文章将带来完整的JDK8升级JDK11最全实践。
DeepSpeed是一个深度学习优化软件套件，使分布式训练和推理变得简单、高效和有效。它可以做些什么呢？训练/推理具有数十亿或数万亿参数的密集或稀疏模型；实现出色的系统吞吐量并有效扩展到数千个GPU；在资源受限的GPU系统上进行训练/推理；实现前所未有的低延迟和高吞吐量的推理；以低成本实现极限压缩，
本文主要通过例子介绍了如何给核函数计时的思路和实现。实现例子代码参考文献[7]，只需要把相应章节对应的CMakeLists.txt文件拷贝到CMake项目根目录下面即可运行。 1.用CPU计时器计时(sumArraysOnGPU-timer.cu)[7] 在主函数中用CPU计时器测试向量加法的核函数
本文主要通过例子介绍了CUDA异构编程模型，需要说明的是Grid、Block和Thread都是逻辑结构，不是物理结构。实现例子代码参考文献[2]，只需要把相应章节对应的CMakeLists.txt文件拷贝到CMake项目根目录下面即可运行。 1.Grid、Block和Thread间的关系 GPU中最
基于Langchain与ChatGLM等语言模型的本地知识库问答应用实现。项目中默认LLM模型改为THUDM/chatglm2-6b[2]，默认Embedding模型改为moka-ai/m3e-base[3]。 一.项目介绍 1.实现原理 本项目实现原理如下图所示，过程包括加载文件->读取文本->文
背景 最近把项目中的技术框架做一次升级，最重要的就是SpringBoot从2.7.x升级到3.0.x，当然还会有一些周边的框架也会连带着升级，比如Mybatis Plus，SpringCloud等，话不多说直接看看有哪些事情要做。 具体事项 主要分两类，第一类是单纯的提升版本，主要如下： 1.jdk
一.量化模型调用方式 下面是一个调用FlagAlpha/Llama2-Chinese-13b-Chat[1]的4bit压缩版本FlagAlpha/Llama2-Chinese-13b-Chat-4bit[2]的例子： from transformers import AutoTokenizerfro
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式为"Human: "+问题+"\nAssistant: "+答案。本文主要介绍Llama-2-7b模型LoRA微调以及4bit量化的实践过程。
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式如下所示： "Human: "+问题+"\nAssistant: "+答案 举个例子，如下所示： Human: 用一句话描述地球为什么是独
Transformer和BERT可谓是LLM的基础模型，彻底搞懂极其必要。Transformer最初设想是作为文本翻译模型使用的，而BERT模型构建使用了Transformer的部分组件，如果理解了Transformer，则能很轻松地理解BERT。 一.Transformer模型架构 1.编码器 （
自动信息抽取发展了几十年，虽然模型很多，但是泛化能力很难用满意来形容，直到LLM的诞生。虽然最终信息抽取质量部分还是需要专家审核，但是已经极大的提高了信息抽取的效率。因为传统方法需要大量时间来完成数据清洗、标注和训练，然后来实体抽取、实体属性抽取、实体关系抽取、事件抽取、实体链接和指代消解等等。现在
不知道多少小伙伴用着 Windows 操作系统，可能会有一个烦恼是有时候操作系统过慢，因为众多拖慢 Windows 系统的组件。Atlas 作为一个修改版的 Windows 系统，能极大提高操作系统运行效率。说到升级，除了 Atlas 之外，还有主打内存安全的 sudo 升级版 sudo-rs，以及
因所负责的系统使用的spring框架版本5.1.5.RELEASE在线上出过一个偶发的小事故，最后定位为spring-context中的一个bug导致的。
目录Nginx详解1. Nginx关键特性2. Nginx配置2.1 event2.2 http2.2.1 log_format2.2.2 sendfile2.2.3 tcp_nopush2.2.4 tcp_nodelay2.2.5 keepalive_timeout2.2.6 include2.2
一、概述 鉴于JDK8已经是老古董，还有性能问题，兼且各个公司已经不再维护1.8的JDK，所以升级公司的核心产品之一的后端到JDK到17是相对要紧的事情。 通过升级到jdk17，具有以下好处： 不要在头疼同时适应两个jdk，放下适应JDK8的负担 在生产环境基本上只需要部署一个jdk即可 具有更好的
笔者开发过一些小应用，然后这些应用就需要有升级更新的功能，但是如果每个都集成进去也行，但是就是得写死更新的代码了。于是就想写一个应用升级更新的管理器，以前看到过Github上有一个AutoUpdate.Net，不过它那个要集成到应用中的，不符合笔者的需求，上次编写的那个没写完，然后这几天翻出来了，想
