LLM优化:开源星火13B显卡及内存占用优化

本文主要是针对开源星火13B的显存及内存占用过大的一个代码优化。核心思想是使用CPU预加载模型,再转换至GPU。

LLM应用实战:当KBQA集成LLM(二)

本文主要是针对KBQA方案基于LLM实现存在的问题进行优化,主要涉及到图谱存储至Es,且支持Es的向量检索,还有解决了一部分基于属性值倒查实体的场景,且效果相对提升。

【数学】主成分分析(PCA)的详细深度推导过程

Based on Deep Learning (2017, MIT) book. 本文基于Deep Learning (2017, MIT),推导过程补全了所涉及的知识及书中推导过程中跳跃和省略的部分。 blog 1 概述 现代数据集,如网络索引、高分辨率图像、气象学、实验测量等,通常包含高维特征,

博客园主题美化教程

博客地址:https://www.cnblogs.com/zylyehuo/ 参考链接 https://www.cnblogs.com/huxingxin/p/16886323.html

[转帖]docker多主机网络方案

http://t.zoukankan.com/bethal-p-6046816.html 本文探讨Docker多主机网络的性能。 在过去的博文里,我测试过 Docker的网络 。 MySQL服务器团队 提供了他们自己的结果,和我的观察是一致的。 本文里一系列的测试,想更多关注使用多主机的Docker

[转帖]redis主从+keepalived实现高可用技术(转)

https://www.jianshu.com/p/78f6dc30af7d redis主从+keepalived实现高可用技术keepalive+redis 主从高可用 Redis是我们当下比较流行使用的非关系数据库,可支持多样化的数据类型,多线程高并发支持,redis运行在内存拥有更快的读写。因

[转帖]ESXi主机网卡识别为10Mb导致业务缓慢

某企业所有业务系统及应用运行在由5台安装了ESXi 6.0的服务器组成的虚拟化环境中,已经稳定运行了多年,基本上没有出过问题。 今天下午企业工程师联系我,说单位的业务系统访问很慢。在业务系统中PING网关的延时超过2ms,平常都是小于1ms。近期单位服务器与网络没有改动。 检查发现有台物理主机内存报

[转帖]CPU架构对redis的性能影响

目录 主流CPU架构 CPU多核对redis性能的影响 NUMA架构对redis性能的影响 绑核的风险和解决方案 绑核的风险 解决方案 作者:@dwtfukgv本文为作者原创,转载请注明出处:https://www.cnblogs.com/dwtfukgv/p/15203960.html CPU架构

[转帖]IO测试工具之fio详解

目前主流的第三方IO测试工具有fio、iometer和Orion,这三种工具各有千秋。 fio在Linux系统下使用比较方便,iometer在window系统下使用比较方便,Orion是oracle的IO测试软件,可在没有安装oracle数据库的情况下模拟oracle数据库场景的读写。 如下是在Li

[转帖]MobaXterm主密码设置

MobaXterm主密码设置 1.MobaXterm连接服务器,保存有服务器的密码,任何使用该电脑的人都可以通过MobaXterm连接服务器,为了服务器的安全,设置软件登录主密码。 2.MobaXterm密码管理 3.主密码设置 4.提示输入设置的主密码,这里的主密码是最初使用Moba的时候设置,如

[转帖]CPU外频倍频、主板晶振与内存异步工作

CPU主频 = 外频 * 倍频 CPU频率即是每个时钟信号周期完成一步操作,时钟频率的高低在很大程度上反映了CPU速度的快慢 所谓外频Base Clock(BCLK),即系统总线的工作频率。是一个统一协调的最基础的频率,CPU硬盘网卡声卡等都是基于这个频率去工作的,通常来讲就是100Mhz 这个外频

[转帖]40张图入门Linux——(前端够用,运维入门)

本文主要是Linux的入门内容,利用40张思维导图从基础、操作、实用指令、组管理和权限管理、crond任务调度、Linux磁盘分区和挂载、Linux网络环境配置、进程管理、服务管理、RPM和YUM、软件安装关键点、Shell编程共十二部分着手,从而系统的了解一下Linux(基于Centos),本文的

[转帖]十大主流Nehalem服务器横评(多图)

https://server.51cto.com/article/201820.html 作者:佚名2010-05-25 09:52:27 运维服务器运维 除了我们的两台基准服务器之外,本次横向评测活动共有8个厂商的10款主流产品,它们都是基于Intel的Nehalem Xeon处理器,结果各有千秋

[转帖]iptables的四表五链与NAT工作原理

本文主要介绍了iptables的基本工作原理和四表五链等基本概念以及NAT的工作原理。 1、iptables简介 我们先来看一下netfilter官网对iptables的描述: iptables is the userspace command line program used to config

[转帖]linux内存挂载

1.主要功能 在linux中,为了提高读写速度,可以将内存挂载到目录,常见的文件格式有tmpfs和ramfs。 2.挂载步骤 $ sudo mkdir /mnt/tmp $ sudo mkdir /mnt/ram $ sudo mount -t tmpfs -o size=20m tmpfs /mn

[转帖]Kafka主题与分区

https://zhuanlan.zhihu.com/p/428845986#:~:text=%E4%B8%80%E3%80%81kafka-topics.sh%E6%93%8D%E4%BD%9C%201%201%E3%80%81%E6%9F%A5%E7%9C%8Btopic%E5%88%97%E8

ESXi主机报错:其他主机硬件对象的状态(System Management Software 1 SEL Fullness)

ESXi主机报错:其他主机硬件对象的状态(System Management Software 1 SEL Fullness) 问题现象 一次巡检过程中发现vcenter中有esxi主机告警,如下图。 查看监控>>硬件运行状况>>警示和警告,报 System Management Software

优化利器In-Memory开启和效果

本文主要介绍Oracle In-Memory 选件,Oracle在12.1.0.2就已经推出了In-Memory这个选件,现在通常会建议所有使用19.8及之后版本的用户,有条件都要留给In-memory一点内存区域。 因为该选件在19.8之后推出了16GB及以下免费使用的福利,作为优化的又一利器。

Springboot简单功能示例-1 实现基本WEB服务

博主尝试通过gitee的发行版,使用Springboot为基础框架,逐步整合JWT、JPA、VUE等常用功能项目。 其中博主还将尝试统一异常处理、自定义加密认证、代码自动生成等功能

Springboot简单功能示例-2 KEY初始化功能和全局错误处理

博主尝试通过gitee的发行版,使用Springboot为基础框架,逐步整合JWT、JPA、VUE等常用功能项目。【本节完成】KEY初始化功能和全局错误处理