与#推理#相关的内容第3页 - PmDaddy

全部分类数据库前端云计算

[转帖]“炫技”还是“真硬核”，OpenPPL 实测阿里「倚天 710」芯片

“炫技”还是“真硬核”，OpenPPL 实测阿里「倚天 710」芯片本文将以「深度学习模型推理应用」为出发点，对「倚天 710」这款 ARM Server 芯片进行性能实测。 OpenPPL 自开源以来，便密切关注着业界的进展，致力于优化模型推理的全链条。完善对国产化芯片的支持，是 OpenPPL

使用Microsoft.SemanticKernel基于本地运行的Ollama大语言模型实现Agent调用函数

大语言模型的发展日新月异，记得在去年这个时候，函数调用还是gpt-4的专属。到今年本地运行的大模型无论是推理能力还是文本的输出质量都已经非常接近gpt-4了。而在去年gpt-4尚未发布函数调用时，智能体框架的开发者们依赖构建精巧的提示词实现了gpt-3.5的函数调用。目前在本机运行的大模型，基于这一

快速识别你家的猫猫狗狗，教你用ModelBox开发AI萌宠应用

本文介绍了如何使用ModelBox开发一个动物目标检测的AI应用，从而掌握图片标注、数据处理和模型训练方法，以及对应的推理应用逻辑。

解密Prompt系列31. LLM Agent之从经验中不断学习的智能体

模型想要完成自主能力进化和自主能力获得，需要通过Self-Reflection from Past Experience来实现。那如何获得经历，把经历转化成经验，并在推理中使用呢？本章介绍三种方案

深入探讨Function Calling：实现外部函数调用的工作原理

引言 Function Calling 是一个允许大型语言模型（如 GPT）在生成文本的过程中调用外部函数或服务的功能。 Function Calling允许我们以 JSON 格式向 LLM 模型描述函数，并使用模型的固有推理能力来决定在生成响应之前是否调用该函数。模型本身不执行函数，而是生成包含函

【OpenVINO™】在C#中使用 OpenVINO™ 部署 YOLOv10 模型实现目标

最近YOLO家族又添新成员：YOLOv10，YOLOv10 提出了一种一致的双任务方法，用于无nms训练的YOLOs，它同时带来了具有竞争力的性能和较低的推理延迟。此外，还介绍了整体效率-精度驱动的模型设计策略,从效率和精度两个角度对YOLOs的各个组成部分进行了全面优化，大大降低了计算开销，增强了...

昇腾开发全流程之 MindSpore华为云模型训练

学会如何安装配置华为云ModelArts、开发板Atlas 200I DK A2，并打通一个训练到推理的全流程思路。 > 在本篇章，首先我们开始进入训练阶段！

检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统

检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统什么是 RAG LLM 会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。正是在这样的背景下，检索增强生成技术（Retrieval-Augm

把盏言欢,款款而谈,ChatGPT结合钉钉机器人(outgoing回调)打造人工智能群聊/单聊场景,基于Python3.10

就像黑火药时代里突然诞生的核弹一样，OpenAI的ChatGPT语言模型的横空出世，是人工智能技术发展史上的一个重要里程碑。这是一款无与伦比、超凡绝伦的模型，能够进行自然语言推理和对话，并且具有出色的语言生成能力。

[转帖]调优"四剑客"的实战演练，福尔摩斯•K带你轻松优化性能

前言天下武功，唯快不破。在侦探的世界中，破案效率永远是衡量一名侦探能力的不二法门。作为推理界冉冉升起的新星，大侦探福尔摩斯·K凭借着冷静的头脑、严谨的思维，为我们展现了一场场华丽而热血的推理盛宴。接下来，我们不仅仅是看客，还将追随福尔摩斯·K的脚步，体验一场身临其境的冒险。一起寻访产生数据库性能

CUDA C编程权威指南：1.1-CUDA基础知识点梳理

主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA 解析：2007年，NVIDIA推出CUDA（Compute Unified Device Architecture，统一计算设

CUDA C编程权威指南：1.2-CUDA基础知识点梳理

主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.闭扫描和开扫描对于一个二元运算符和一个元输入数组。如果返回输出数组为，那么是闭扫描；如果返回输出数组为，那么是开扫描。串行闭扫描算法，

CUDA C编程权威指南：1.3-CUDA基础知识点梳理

主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA数组解析：CUDA数组是使用cudaMallocArray()、cudaMalloc3DArray()分配的，使用cudaFr

Boost程序库完全开发指南：1.1-C++基础知识点梳理

主要整理了N多年前（2010年）学习C++的时候开始总结的知识点，好长时间不写C++代码了，现在LLM量化和推理需要重新学习C++编程，看来出来混迟早要还的。 1.shared_ptr 解析：shared_ptr是一种计数指针，当引用计数变为0时，shared_ptr所指向的对象将会被删除。如下所示

Boost程序库完全开发指南：1.2-C++基础知识点梳理

主要整理了N多年前（2010年）学习C++的时候开始总结的知识点，好长时间不写C++代码了，现在LLM量化和推理需要重新学习C++编程，看来出来混迟早要还的。 1.const_cast (expression)[1] 解析：const_cast转换符用来移除变量的const或v

自然语言处理 Paddle NLP - 情感分析技术及应用-理论

对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程，输入文本 => (描述实体/entity，属性/aspect，情感/opinion ,观点持有者/holder，时间/time)

使用Triton部署chatglm2-6b模型

一、技术介绍 NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(chatglm)、ONNX Run

一款能“干掉” ChatGPT 的应用「GitHub 热点速览」

据说有了它，ChatGPT 就可以靠边站了。因为 Auto-GPT 能更加主动地完成你给他的指定任务，不用做更多的人为干涉，它的推理能力比 ChatGPT 更强，有人用它解放双手做了个 React 网站。当然除了升级的 Auto-GPT 之外，还有 DeepSpeed，它能极大地降低训练成本。这两个

程序员买啥游戏机，自己动手做一个体感小游戏

摘要：结合一个仿制的简易Flappy Bird游戏，ModelBox体感小游戏就这样诞生了。本文分享自华为云社区《ModelBox开发案例 - 体感小游戏》，作者：菊厂飞戈。前段时间，小鱼老师在AI说发布了文章 ModelBox推理真的高效吗，里面介绍了双阶段单人人体关键点检测案例，运行速度超快

ModelBox姿态匹配：抖抖手动动脚勤做深呼吸

摘要：本案例使用Windows版本的ModelBox SDK进行二次开发，主要是针对姿态匹配案例开发实践。本文分享自华为云社区《姿态匹配：抖抖手动动脚勤做深呼吸》，作者：吴小鱼。在之前发布的AI说ModelBox推理真的高效吗一文中，我们使用双阶段单人人体关键点检测作为案例对比测试了ModelB

# 热门排行

微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战一篇带你了解如何使用纯前端类Excel表格构建现金流量表手把手教你玩转 Excel 数据透视表为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化用Echarts实现前端表格引用从属关系可视化