大家好，我是凌晨。 今天上午10点左右，我打开B站发现无法刷新视频列表和评论区，收藏夹和弹幕也均不可用。 原以为是手机网络问题，换网络重启手机都还是不行，第一时间打开微博，果然，B站崩了的新闻荣登榜首，小红书崩了的新闻也紧随其后。 不过，一般情况下，像这种大规模平台的这么多功能一起崩溃了显然是不太对
本文主要探讨 TGI 的小兄弟 - TGI 基准测试工具。它能帮助我们超越简单的吞吐量指标，对 TGI 进行更全面的性能剖析，以更好地了解如何根据实际需求对服务进行调优并按需作出最佳的权衡及决策。如果你曾觉得 LLM 服务部署成本太高，或者你想对部署进行调优，那么本文很适合你！ 我将向大家展示如何轻
LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuing等] 由于LLM参数量都是在亿级以上，少则数十亿，多则数千亿。当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看着是不太实际，一
上周刚刚面了百度，问的问题不算很难，但却很细，我把这些面试题和答案都整理出来了，一起来看吧。 重点介绍一个你觉得有意义的项目？ 回答技巧和思路： 介绍的项目业务难度和技术难点要高一些，最好是微服务项目。 简明扼要的讲清楚项目核心板块的业务场景即可，切忌不要讲的太细和太久，这只是面试官要考察你技术问题
概述 Github官方地址：GLM-4 网上已经有很多关于微调的文章，介绍各种方式下的使用，这里不会赘述。我个人比较关心的是微调时的loss计算逻辑，这点在很多的文章都不会有相关的描述，因为大多数人都是关心如何使用之类的应用层，而不是其具体的底层逻辑，当然咱也说不清太底层的计算。 可了解其它loss
看到二维码，很容易猜到黑白相间的小方格就是二进制比特。那么这些比特是怎么得到的？小方格又是按照什么规则排布的？今天咱们就从零开始将一个 url 画成二维码。 考虑到大多数人可能不太了解二维码，所以先讲下基础概念。你也可以先看看左耳朵耗子写的二维码的生成细节和原理。 版本 二维码一共有 40 个尺寸，
CoT 推理范式 默认情况下，大语言模型通常是直接给出问题的最终答案，中间推理过程是隐含的、不透明的，无法发挥出大模型最极致的理解能力。如果你用它来充当翻译，可能效果和传统的机器翻译也差不了太多。 如果我们给大模型设计一个合理的提示词，控制大模型的思考方式，就能发挥出大模型的最大功效，甚至可以让它的
问题 对于验证复杂JSON数据是否合法的需求，通常的解决方式是标准JSON Schema，.Net下有对应的JSON Schema实现库。应用程序通常需要将标准JSON schema传入实现库，来做后续的数据验证。这里有一种情况，就是如果使用者不太了解标准JSON Schema格式，但又希望能在自己
前言 目前.NET 体系下常见的PDF类库有Aspose、QuestPDF、Spire、iTextSharp等，有一说一都挺好用的，我个人特别喜欢QuestPDF它基于 C# Fluent API 提供全面的布局引擎；但是这些库要么属于商业库价格不菲（能理解收费），但是年费太贵了。要么是有条件限制开
在MySQL中，临时表空间通常用于存储如ORDER BY、GROUP BY、DISTINCT、UNION、JOIN等操作中产生的临时数据。当这些操作的数据集太大而无法在内存中完成时，MySQL会使用磁盘上的临时表空间。 一、MYSQL造数据占用临时表空间的方法 以下是一些方法，我们可以通过它们来“造
这个测试板在前面介绍过, 使用的是 HC32L110C4 芯片. 测试功能很简单, 定时发送字符串`ashining`, 没有参数修改选项. 因此仅仅适用于两块测试底板之间的测试, 无法配合其它 NRF24L01 硬件设备进行收发测试. 一直想重写这个底板的功能, 增加更多的测试项, 但是太懒了一直...
上一篇实现了多聊天室。这一片要继续改进的是实现收发文件,以及图片显示。 效果 问题 websocket本身就是二进制传输。文件刚好也是二进制存储的。 文件本身的传输问题不太，但是需要传输文件元数据，比如文件名和扩展名之类的。这很必要，如果我们想知道怎么展示这个文件的话。比如这个文件是图片还是word
一、概述 关于 Shopify Theme 的性能优化，通常有以下几点： 1、卸载未使用的应用程序 有些 app 会在 theme 里面插入一些代码，即使 app 未被使用，也可能会加载一些脚本文件，影响页面渲染速度，所以建议不使用的 app 都卸载掉。 2、适当埋点，太多的埋点上报会影响网站速度
最近在用next写一个多语言的项目，找了好久没找到简单实现的教程，实践起来感觉都比较复杂，最后终于是在官方文档找到了，结合网上找到的代码demo，终于实现了，在这里简单总结一下。 此教程适用于比较简单的项目实现，如果你是刚入门next，并且不想用太复杂的方式去实现一个多语言项目，那么这个教程就挺适合
对应于其强大的能力，大语言模型 (LLM) 需要强大的算力支撑，而个人计算机上很难满足这一需求。因此，我们别无选择，只能将它们部署至由本地或云端托管的性能强大的定制 AI 服务器上。 为何需要将 LLM 推理本地化 如果我们可以在典配个人计算机上运行最先进的开源 LLM 会如何？好处简直太多了: 增
此篇文章不从源码角度解析，网上一搜一大把。我个人的习惯是自己评估与思考下大概的设计思路是什么，然后看源码与博客佐证。否则一来就是使用然后看源码，一坨一坨的代码，真的看的头疼。以上仅是个人的学习方法。 聊聊OpenFeign，其实这个框架，之前用过，但没留意太多；说白了这个框架的出现就是为了让我们做R
好家伙,学算法, 这篇看完,如果没有学会KMP算法,麻烦给我点踩 希望你能拿起纸和笔,一边阅读一边思考,看完这篇文章大概需要(20分钟的时间) 我们学这个算法是为了解决串匹配的问题 那什么是串匹配? 举个例子: 我要在"彭于晏吴彦祖"这段字符串中找到"吴彦祖"字符串 这就是串匹配 这两个算法太抽象了
https://segmentfault.com/u/dewujishu 一、前言 高并发、高可用、高性能被称为互联网三高架构，这三者都是工程师和架构师在系统架构设计中必须考虑的因素之一。今天我们就来聊一聊三H中的高可用，也是我们常说的系统稳定性。 本篇文章只聊思路，没有太多的深入细节。阅读全文大概
前言 Ubuntu每次升级都会修改一部分组件. 从1804开始Ubuntu开始使用netplan的方式进行网络设置. 但是不同版本的配置一直在升级与变化. 今天掉进坑里折腾了好久. 所以这边总结一下, 以便备忘. 番外 WorkStation虚拟机迁移ESXi 公司机器配置太lowB,跑虚拟机就像是
https://zhuanlan.zhihu.com/p/138887210 IPC的意义 一般来说IPC是越高越好, 这意味着单位时间执行了更多的指令, 通过观测IPC可以一定程度上了解软件的执行效率. 但是多高才算高呢? 这并没有标准答案, 它需要有基线进行对比, 有的代码逻辑就决定了不可能有太
