以前使用Neo4j图数据库，考虑到生产环境需要最终选择了NebulaGraph图数据库。对于数据要求比较高的领域，比如医疗、财务等，暂时还是离不开知识图谱的。后面主要围绕LLM+KG做一些行业解决方案和产品，涉及的技术主要是对话、推荐、检索这3个大的方向，可用于客服系统和聊天机器人等。 1.安装Ne
本文主要讨论Langchain-Chatchat项目中自定义Agent问答的思路和实现。以"计算器工具"为例，简单理解就是通过LLM识别应该使用的工具类型，然后交给相应的工具（也是LLM模型）来解决问题。一个LLM模型可以充当不同的角色，要把结构化的Prompt模板写好，充分利用LLM的Zero/O
前言 时间过得飞快，一转眼国庆假期也要过去了，再不更新博客就太咸鱼了…… 最近在开发AIHub的时候想找个C#能用的命名实体识别库，但一直没找到，AI生态方面C#确实不太丰富，这块还是得Python，但我又不想跟LLM一样用gRPC的方式来调用，感觉有点麻烦。 这时候发现好像JVM生态有不少这类NL
一、技术介绍 NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。 支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(chatglm)、ONNX Run
摘要：该文为大模型评估方向的综述论文。 本文分享自华为云社区《【论文分享】《Holistic Evaluation of Language Models》》，作者：DevAI。 大模型（LLM）已经成为了大多数语言相关的技术的基石，然而大模型的能力、限制、风险还没有被大家完整地认识。该文为大模型评估
在本文中，我将结合GPT-4的技术报告、GPT-4相对于GPT 3.5/ChatGPT的提升、GPT-4和ChatGPT的对比、OpenAI的近期工作，大语言模型（Large Language Model，LLM）模型的科研进展，多模态模型的科研进展等多方面的信息，深入分析GPT-4的技术细节。
在大语言模型的训练中，经常会看到 Instruct Tuning（指令微调）这个单词，GPT家族中也有一个 InstructGPT的模型（指令微调后的GPT），通过指令微调的LLM会更按照我们期望的方式输出
平时工作中会经常用到命令行工具Command Lines Tool。而Command Line Tool本质是一个命令行工具包，内部有很多有用的工具，如Apple LLVM compiler、Make等。而它里面中的一部分工具属于 LLVM 序列，比如dwarfdump、ar其本质为llvm-dwa
linux获取文件或者是进程精确时间的方法 背景 很多时候需要精确知道文件的具体时间. 也需要知道进程的开始的精确时间. 便于进行一些计算的处理. 其实linux里面有很多方式进行文件属性的查看. 这里简单总结一下. 文件系统时间查看 ls 以及 ll 命令可以查看文件的一些简要信息 但是时间是精确
本文主要探讨 TGI 的小兄弟 - TGI 基准测试工具。它能帮助我们超越简单的吞吐量指标，对 TGI 进行更全面的性能剖析，以更好地了解如何根据实际需求对服务进行调优并按需作出最佳的权衡及决策。如果你曾觉得 LLM 服务部署成本太高，或者你想对部署进行调优，那么本文很适合你！ 我将向大家展示如何轻
RSA算法的基本流程包括密钥生成、加密和解密三个过程。其数学基础主要依赖于欧拉定理和模幂运算。通过合理选择密钥参数，可以保证加密和解密过程的正确性和安全性。Coppersmith方法基于Lattice reduction（格约简）和LLL算法（Lenstra–Lenstra–Lovász）的结合，用...
阅读本文，或许能够了解关于以下的几个问题： 1、编译器是什么？为什么会有编译器这样一个东西？ 2、编译器做了哪些工作？整个编译过程又是什么？ 3、Apple的编译器发展历程以及为什么会抛弃GCC换成自研的LLVM？ 4、从编译器角度看Swift与OC能够实现混编的底层逻辑
