前言 最近AI很火🔥，先是AI画图，然后就ChatGPT，后者我已经用了一段时间了，用来写作文挺不错的，但OpenAI屏蔽了中国IP，加上用户太多啥的，用起来没那么爽，但没办法全球只此一家，只能捏着鼻子用。而AI画图就不一样了，全是开源的，自己部署一下可以玩个爽~ 正好我们这有台2080Ti的工作
## 前言 先介绍下这个项目。 最近我一直在探索大语言模型，根据不同场景训练了好几个模型，为了让用户测试使用，需要开发前端。 这时候，用 Gradio 搭建的前端是不太够的，虽说 GitHub 上也有一堆开源的 ChatGPT 前端，但我看了一圈，并没有找到便于二次开发定制的，再一想，这么简单的功能
问题描述 如何按条件删除 Storage Table 中的数据，如果Table中有大量的条记录需要删除，Java代码如何按条件删除 Table中的数据(Entity)? （通过Azure Storage Explorer工具是可以删除，但是由于数据量太大，人工操作耗时太久，所以需要使用Java代码完
我们之前使用的是操作系统平台的线程，就称之为“系统线程”吧。虚拟线程是JDK维护的，原理跟WebFlux的底层实现差不多，都是工作线程分离。 要使用虚拟线程，需要使用JDK21以上，包括21。 虚拟线程可以创建很多很多 系统线程不能轻易创建太多，我们一直被教导创建线程是很重的活动。 for (int
前言 .NET 官方有一个用来管理国际化资源的扩展包Microsoft.Extensions.Localization，ASP.NET Core也用这个来实现国际化功能。但是这个包的翻译数据是使用resx资源文件来管理的，这就意味着无法动态管理。虽然官方有在文档中提供了一些第三方管理方案，但是都不太
大家好，我是凌晨。 今天上午10点左右，我打开B站发现无法刷新视频列表和评论区，收藏夹和弹幕也均不可用。 原以为是手机网络问题，换网络重启手机都还是不行，第一时间打开微博，果然，B站崩了的新闻荣登榜首，小红书崩了的新闻也紧随其后。 不过，一般情况下，像这种大规模平台的这么多功能一起崩溃了显然是不太对
本文主要探讨 TGI 的小兄弟 - TGI 基准测试工具。它能帮助我们超越简单的吞吐量指标，对 TGI 进行更全面的性能剖析，以更好地了解如何根据实际需求对服务进行调优并按需作出最佳的权衡及决策。如果你曾觉得 LLM 服务部署成本太高，或者你想对部署进行调优，那么本文很适合你！ 我将向大家展示如何轻
LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuing等] 由于LLM参数量都是在亿级以上，少则数十亿，多则数千亿。当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看着是不太实际，一
概述 Github官方地址：GLM-4 网上已经有很多关于微调的文章，介绍各种方式下的使用，这里不会赘述。我个人比较关心的是微调时的loss计算逻辑，这点在很多的文章都不会有相关的描述，因为大多数人都是关心如何使用之类的应用层，而不是其具体的底层逻辑，当然咱也说不清太底层的计算。 可了解其它loss
看到二维码，很容易猜到黑白相间的小方格就是二进制比特。那么这些比特是怎么得到的？小方格又是按照什么规则排布的？今天咱们就从零开始将一个 url 画成二维码。 考虑到大多数人可能不太了解二维码，所以先讲下基础概念。你也可以先看看左耳朵耗子写的二维码的生成细节和原理。 版本 二维码一共有 40 个尺寸，
CoT 推理范式 默认情况下，大语言模型通常是直接给出问题的最终答案，中间推理过程是隐含的、不透明的，无法发挥出大模型最极致的理解能力。如果你用它来充当翻译，可能效果和传统的机器翻译也差不了太多。 如果我们给大模型设计一个合理的提示词，控制大模型的思考方式，就能发挥出大模型的最大功效，甚至可以让它的
问题 对于验证复杂JSON数据是否合法的需求，通常的解决方式是标准JSON Schema，.Net下有对应的JSON Schema实现库。应用程序通常需要将标准JSON schema传入实现库，来做后续的数据验证。这里有一种情况，就是如果使用者不太了解标准JSON Schema格式，但又希望能在自己
在MySQL中，临时表空间通常用于存储如ORDER BY、GROUP BY、DISTINCT、UNION、JOIN等操作中产生的临时数据。当这些操作的数据集太大而无法在内存中完成时，MySQL会使用磁盘上的临时表空间。 一、MYSQL造数据占用临时表空间的方法 以下是一些方法，我们可以通过它们来“造
上一篇实现了多聊天室。这一片要继续改进的是实现收发文件,以及图片显示。 效果 问题 websocket本身就是二进制传输。文件刚好也是二进制存储的。 文件本身的传输问题不太，但是需要传输文件元数据，比如文件名和扩展名之类的。这很必要，如果我们想知道怎么展示这个文件的话。比如这个文件是图片还是word
一、概述 关于 Shopify Theme 的性能优化，通常有以下几点： 1、卸载未使用的应用程序 有些 app 会在 theme 里面插入一些代码，即使 app 未被使用，也可能会加载一些脚本文件，影响页面渲染速度，所以建议不使用的 app 都卸载掉。 2、适当埋点，太多的埋点上报会影响网站速度
最近在用next写一个多语言的项目，找了好久没找到简单实现的教程，实践起来感觉都比较复杂，最后终于是在官方文档找到了，结合网上找到的代码demo，终于实现了，在这里简单总结一下。 此教程适用于比较简单的项目实现，如果你是刚入门next，并且不想用太复杂的方式去实现一个多语言项目，那么这个教程就挺适合
对应于其强大的能力，大语言模型 (LLM) 需要强大的算力支撑，而个人计算机上很难满足这一需求。因此，我们别无选择，只能将它们部署至由本地或云端托管的性能强大的定制 AI 服务器上。 为何需要将 LLM 推理本地化 如果我们可以在典配个人计算机上运行最先进的开源 LLM 会如何？好处简直太多了: 增
此篇文章不从源码角度解析，网上一搜一大把。我个人的习惯是自己评估与思考下大概的设计思路是什么，然后看源码与博客佐证。否则一来就是使用然后看源码，一坨一坨的代码，真的看的头疼。以上仅是个人的学习方法。 聊聊OpenFeign，其实这个框架，之前用过，但没留意太多；说白了这个框架的出现就是为了让我们做R
好家伙,学算法, 这篇看完,如果没有学会KMP算法,麻烦给我点踩 希望你能拿起纸和笔,一边阅读一边思考,看完这篇文章大概需要(20分钟的时间) 我们学这个算法是为了解决串匹配的问题 那什么是串匹配? 举个例子: 我要在"彭于晏吴彦祖"这段字符串中找到"吴彦祖"字符串 这就是串匹配 这两个算法太抽象了
https://segmentfault.com/u/dewujishu 一、前言 高并发、高可用、高性能被称为互联网三高架构，这三者都是工程师和架构师在系统架构设计中必须考虑的因素之一。今天我们就来聊一聊三H中的高可用，也是我们常说的系统稳定性。 本篇文章只聊思路，没有太多的深入细节。阅读全文大概
