https://xie.infoq.cn/article/7f178e0a1315f758d77c6c2bb 背景 公司的 gitlab 目前都是直接存储在物理盘上，为了确保数据不会丢失，需要重复多次备份到不同的地方，备份的过程中会有多次 IO，影响机器的性能，且随着数据量的增长，备份所需的时间也越
https://www.jianshu.com/p/1141be233bb2 一、TiKV存储 简述 通过单机的 RocksDB，TiKV 可以将数据快速地存储在磁盘上；通过 Raft，将数据复制到多台机器上，以防单机失效。数据的写入是通过 Raft 这一层的接口写入，而不是直接写 RocksDB。
# parquet极简学习 ## 摘要 ``` parquet的概念: Parquet文件是一种列式存储文件格式，广泛应用于大数据处理框架， 如Apache Hadoop和Apache Spark。 它通过将数据组织成列而不是行来优化大型数据集的读写。 这种列式存储格式允许进行高效压缩、更好的查询性
https://book.tidb.io/session4/chapter7/compact.html TiKV 作为 TiDB 的存储节点，用户通过 SQL 导入或更改的所有数据都存储在 TiKV。这里整理了一些关于 TiKV 空间占用的常见问题 TiKV 的空间放大 监控上显示的 Number
tmpfs tmpfs是一种虚拟内存文件系统, 它的存储空间在VM里面，现在大多数操作系统都采用了虚拟内存管理机制, VM(Virtual Memory) 是由Linux内核里面的VM子系统管理. VM的大小由RM(Real Memory)和swap组成, RM就是物理内存, swap是通过硬盘虚拟
简介 Minio是一个go编写基于Apache License v2.0开源协议的对象存储系统,是为海量数据存储、人工智能、大数据分析而设计，它完全兼容Amazon S3接口，十分符合存储大容量的非结构化数据从几十kb到最大5T不等。是一个小而美的开源分布式存储软件。 特点 简单、可靠：Minio采
Thanos 简介 Thanos 是一个「开源的，高可用的 Prometheus 系统，具有长期存储能力」。很多知名公司都在使用 Thanos，也是 CNCF 孵化项目的一部分。 Thanos 的一个主要特点就是通过使用对象存储（比如 S3）可以允许 “无限” 存储空间。对象存储可以是每个云提供商提
内部开发者门户（internal developer portal）是一个自助服务的应用程序和数据存储，可以为软件工程团队提供提供访问所有软件组件、资源、环境、工具和文档的能力，让开发人员和管理人员跟踪并组织其工程团队构建和运行的所有内容。 信息碎片化问题常常困扰着运行复杂分布式系统的软件工程组织，
## 什么是pickle？ ### 序列化和反序列化 + 便于存储。序列化过程将文本信息转变为二进制数据流。这样就信息就容易存储在硬盘之中，当需要读取文件的时候，从硬盘中读取数据，然后再将其反序列化便可以得到原始的数据。在Python程序运行中得到了一些字符串、列表、字典等数据，想要长久的保存下来，
随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。
Kafka中的实时数据是以Topic的概念进行分类存储，而Topic的数据是有一定时效性的，比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时，如果没有对实时数据进行历史归档，在排查问题时，没有日志追述，会很难定位是哪个环节的问题。
顺序栈是一种基于数组实现的栈结构，它的数据元素存储在一段连续的内存空间中。在顺序栈中，栈顶元素的下标是固定的，而栈底元素的下标则随着入栈和出栈操作的进行而变化。通常，我们把栈底位置设置在数组空间的起始处，这样在进行入栈和出栈操作时，只需要维护栈顶指针即可。顺序栈的实现比较简单，它只需要一个数组和一个整型变量`top`即可。其中，数组用于存储栈中的元素，top则用于记录当前栈顶元素在数组中的位置。当
在可执行PE文件中，节（section）是文件的组成部分之一，用于存储特定类型的数据。每个节都具有特定的作用和属性，通常来说一个正常的程序在被编译器创建后会生成一些固定的节，通过将数据组织在不同的节中，可执行文件可以更好地管理和区分不同类型的数据，并为运行时提供必要的信息和功能。节的作用是对可执行文件进行有效的分段和管理，以便操作系统和加载器可以正确加载和执行程序。
https://clickhouse.com/ 概念 ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库（DBMS），使用 C++语言编写，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。 OLAP：一次写入，多次读取 ClickH
作者：京东物流 张广治 1 背景 传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。 每到月初国际财务系统压力巨
序列化的目的是将对象变成字节序列，这样一来方便持久化存储到磁盘，避免程序运行结束后对象就从内存里消失，另外字节序列也更便于网络运输和传播
## 什么是 MySQL 和 MongoDB MySQL 和 MongoDB 是两个可用于存储和管理数据的数据库管理系统。MySQL 是一个关系数据库系统，以结构化表格格式存储数据。相比之下，MongoDB 以更灵活的格式将数据存储为 JSON 文档。两者都提供性能和可扩展性，但它们为不同的应用场景
本篇文章探索了文件系统的功能规划，着重讨论了文件存储、索引节点和目录项的管理、缓存策略以及文件数据的存储等方面。文件系统作为计算机系统中重要的组成部分，对于实现高效、可靠的文件管理与访问机制至关重要。通过深入了解文件系统的基本单位、元信息记录和目录结构，我们可以更好地理解文件系统的工作原理，本文旨在为读者提供对文件系统功能规划的全面认识，以帮助他们更好地理解和应用文件系统相关的技术。
性能优化是个系统性工程，宏观上可分为网络，服务，存储几个方向，每个方向又可以细分为架构，设计，代码，可用性，度量等多个子项。 本文将重点从代码和设计两个子项展开，谈谈那些提升性能的知识点。
如果您跟我一样平时有些博客的习惯，那么图片存储是否有困扰过你呢？今天就给大家推荐一款不错的开源图床系统：Light Fast Picture 它是一个基于koa + vue3.x + typescript实现的图床工具。它可以帮助用户快速上传图片到云端，并返回图片链接，方便用户在网页、社交媒体等平台
