笔记本电脑上的聊天机器人: 在英特尔 Meteor Lake 上运行 Phi-2

对应于其强大的能力,大语言模型 (LLM) 需要强大的算力支撑,而个人计算机上很难满足这一需求。因此,我们别无选择,只能将它们部署至由本地或云端托管的性能强大的定制 AI 服务器上。 为何需要将 LLM 推理本地化 如果我们可以在典配个人计算机上运行最先进的开源 LLM 会如何?好处简直太多了: 增

Guava LoadingCache本地缓存的正确使用姿势——异步加载

1. 【背景】AB实验SDK耗时过高 同事在使用我写的实验平台sdk之后,吐槽耗时太高,获取实验数据分流耗时达到700ms,严重影响了主业务流程的执行 2. 【分析】缓存为何不管用 我记得之前在sdk端加了本地缓存(使用了LoadingCache),不应该这样慢 通过分析,只有在缓存失效之后的那一次

[转帖]Redis 的数据被删除,内存占用还这么大?

作者 | 码哥 来源 | 码哥字节 操作系统分配给 Redis 的内存有 6GB,通过指标 used_memory_human 发现存储数据只使用了 4GB,为何会这样?为何无法保存数据? 通过 CONFIG SET maxmemory 100mb或者在 redis.conf 配置文件设置 maxm

[转帖]kubernetes 证书合集

https://cloud.tencent.com/developer/article/2020655?areaSource=&traceId= 文章目录 PKI 证书 一共有多少证书? 为什么同一个“套”内的证书必须是同一个CA签署的? TLS bootstrapping kubelet证书为何不

[转帖]Web技术(六):QUIC 是如何解决TCP 性能瓶颈的?

文章目录 一、QUIC 如何解决TCP的队头阻塞问题?1.1 TCP 为何会有队头阻塞问题1.2 QUIC 如何解决队头阻塞问题1.3 QUIC 没有队头阻塞的多路复用 二、QUIC 如何优化TCP 的连接管理机制?2.1 TCP连接的本质是什么2.2 QUIC 如何减少TCP 建立连接的开销2.3

如何解决过度拟合

更多精彩内容,欢迎关注公众号:数量技术宅,也可添加技术宅个人微信号:sljsz01,与我交流。 为何产生过度拟合 我们在做数据分析建模,或是量化策略回测的过程中,会模型在训练时过度拟合了历史数据(回测),导致在新数据上的预测(实盘)效果不佳。造成这种现象有以下几种原因: 一是这可能是因为模型过于复杂

上海成立生成式人工智能质量检验检测中心(质检中心)

文章(新闻):生成式人工智能如何保障可靠可信?上海建立首家质检中心为AI产品“体检” 上海市生成式人工智能质量检验检测中心(质检中心) 两张人眼看上去一模一样的照片,机器人读取后为何会攻击其中一张图呢? 因为不正常的照片中被嵌入了特殊的噪声,人工智能产品读取了带有攻击性的信息。【想起了嵌水印】 同样

[apue] 进程环境那些事儿

atexit 注册的处理器中可以再调 atexit 或 exit 吗?putenv 或 setenv 增加一个环境变量后 environ 指针地址为什么变了?setjmp & longjmp 跨函数跳转后自动变量为什么回退了?设置 RLIMIT_NPROC 为 10 为何连一个子进程也 fork 不了?设置 RLIMIT_NOFILE 后为何 sysconf 的返回值也受到了影响?本文为你一一解答

当你输入网址,小手一点,然后发生了什么?

摘要:输入网址并点回车,后台到底发生了什么。透析 HTTP 协议与 TCP 连接之间的千丝万缕的关系。掌握为何是三次握手四次挥手?time_wait 存在的意义是什么?全面图解重点问题,再也不用担心面试问这个问题。 本文分享自华为云社区《输入网址,小手一点,后面到底发生了什么?》,作者:龙哥手记。

“堆内存持续占用高 且 ygc回收效果不佳” 排查处理实践

内存占用持续居高不下,频繁young gc且效果不佳,究竟出现了什么问题?young gc的时机? 为何young gc后堆内存使用率仍然很高?又是什么原因导致内存占用高?本篇文章将深度解析其原因并提供一套为止可行的解决方案。

elasticsearch wildcard 慢查询原因分析(深入到源码!!!)

> 大家好,我是蓝胖子,前段时间线上elasticsearch集群遇到多次wildcard产生的性能问题, elasticsearch wildcard 一直是容易引发elasticsearch 容易宕机的一个风险点, 但究竟它为何消耗cpu呢?又该如何理解elasticsearch profile

唱衰这么多年,PHP 仍然还是你大爷!

PHP 是个庞然大物。 尽管有人不断宣称 PHP “即将消亡”。 但无法改变的事实是:互联网依然大量依赖 PHP。本文将通过大量的数据和事实告诉你为何 PHP 仍然在统治着互联网,你大爷仍然还是你大爷。 统计数据 PHP 仍然是首选编程语言 根据 W3 Techs 对全球前 1000 万个网站使用的

Java:既然有了synchronized,为什么还要提供Lock?

摘要:在Java中提供了synchronized关键字来保证只有一个线程能够访问同步代码块。既然已经提供了synchronized关键字,那为何在Java的SDK包中,还会提供Lock接口呢?这是不是重复造轮子,多此一举呢? 本文分享自华为云社区《【高并发】Java中提供了synchronized,

调用了这么久的JS方法是长在对象、类、值本身还是原型链上?

调用了这么久的JS方法是长在对象、类、值本身还是原型链上? JavaScript这门语言总是能带给我惊喜,在敲代码的时候习以为常的写法,退一步再看看发现自己其实对很多基操只有表面的使用,而从来没思考过为何要这样操作。 今天整理JS代码的时候突然发出灵魂三连问: 为什么有些时候操作对象,可以直接调用对

飞腾与鲲鹏性能差异的一些思考

飞腾与鲲鹏性能差异的一些思考 背景 自己在进行stress-ng以及sysbench的测试验证时发现: 飞腾的性能要比鲲鹏的性能有非常大的差距. 最近同事在现场也进行了压测, 也发现飞腾的性能不是特别好. 这里想简单总结一下自己学习过的资料,尝试分析一下为何差异这么大. 制程 注意 制程采用台积电发

使用 shell 脚本拼接 srt 字幕文件 (srtcat)

将多个 srt 文件拼接成一个,找了好多工具,都太重了,自己用 shell 手搓一个。一开始没觉得这个小工具有多么难,以为半天肯定能搞定,结果足足搞了三天。绊倒我的居然是时间字段的拆分和前导零的删除,看看 shell 里有多少种实现方案,以及我为何选择了当前的方案。

学会提示-AI时代职场必修课

当你在写提数代码时,小张已经完成了数据分析;当你正在整理材料时,小王却在和对象逛环球影城;述职时,你发现小郑的汇报有了质的飞跃,但是他明明最近8点就去打羽毛球。之前大家工作效率相差无几,为何他们突然开了挂,难道是在家偷偷卷?原因其实很简单,只因AI时代到了,你需要【学会提示】。

scanf、cin及其优化、快读性能测试

为了让大家了解C++各种IO方式的性能,于是就有了这篇文章。 本次测试采取的数据均为 \(10^6\) 个不超过 \(10^8\) 随机正整数。 测试代码: #include using namespace std; int x; int main(){ freopen

为什么反射慢?

反射机制就是通过字节码文件对象获取成员变量、成员方法和构造方法,然后进一步获取它们的具体信息,如名字、修饰符、类型等。 反射机制的性能较低有很多原因,这里详细总结以下4点原因: (1)JIT优化受限: JIT 编译器的优化是基于静态分析和预测的。反射是一种在运行时动态解析类型信息的机制,在编译时无法

为什么StampedLock会导致CPU100%?

StampedLock 是 Java 8 引入的一种高级的锁机制,它位于 java.util.concurrent.locks 包中。与传统的读写锁(ReentrantReadWriteLock)相比,StampedLock 提供了更灵活和更高性能的锁解决方案,尤其适用于读操作远多于写操作的场景。