随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。
> 摘要：本文由[葡萄城技术团队](https://www.grapecity.com.cn/)编写，文章的内容借鉴于Ibrahim John的《The Art of Asking ChatGPT》（向ChatGPT提问的艺术）。 # 前言 当今，ChatGPT赢得越来越多人的青睐，人们通过它输入问
日期处理相关内容之前`pandas基础`系列中有一篇专门介绍过，本篇补充两个常用的技巧。 # 1. 多列合并为日期 当收集来的数据中，年月日等信息分散在多个列时，往往需要先合并成日期类型，然后才能做分析处理。合并多列转换为日期类型，可以直接用 `to_datetime`函数来处理： ```pytho
`category`类型在**pandas基础**系列中有一篇介绍数据类型的文章中已经介绍过。`category`类型并不是`python`中的类型，是`pandas`特有的类型。 `category`类型的优势那篇文章已经介绍过，当时只是介绍了如何将某个列的数据转换成`category`类型，以及
在笔者之前的文章`《驱动开发：内核特征码搜索函数封装》`中我们封装实现了特征码定位功能，本章将继续使用该功能，本次我们需要枚举内核`LoadImage`映像回调，在Win64环境下我们可以设置一个`LoadImage`映像加载通告回调，当有新驱动或者DLL被加载时，回调函数就会被调用从而执行我们自己的回调例程，映像回调也存储在数组里，枚举时从数组中读取值之后，需要进行位运算解密得到地址。
微软在`x64`系统中推出了`DSE`保护机制，DSE全称`(Driver Signature Enforcement)`，该保护机制的核心就是任何驱动程序或者是第三方驱动如果想要在正常模式下被加载则必须要经过微软的认证，当驱动程序被加载到内存时会验证签名的正确性，如果签名不正常则系统会拒绝运行驱动，这种机制也被称为驱动强制签名，该机制的作用是保护系统免受恶意软件的破坏，是提高系统安全性的一种手段
在前面的文章中`LyShark`一直在重复的实现对系统底层模块的枚举，今天我们将展开一个新的话题，内核监控，我们以`监控进程线程`创建为例，在`Win10`系统中监控进程与线程可以使用微软提供给我们的两个新函数来实现，此类函数的原理是创建一个回调事件，当有进程或线程被创建或者注销时，系统会通过回调机制将该进程相关信息优先返回给我们自己的函数待处理结束后再转向系统层。
在笔者上一篇文章`《驱动开发：内核注册并监控对象回调》`介绍了如何运用`ObRegisterCallbacks`注册`进程与线程`回调，并通过该回调实现了`拦截`指定进行运行的效果，本章`LyShark`将带大家继续探索一个新的回调注册函数，`PsSetLoadImageNotifyRoutine`常用于注册`LoadImage`映像监视，当有模块被系统加载时则可以第一时间获取到加载模块信息，需要
通常使用`Windows`系统自带的`任务管理器`可以正常地`结束`掉一般`进程`，而某些`特殊的`进程在应用层很难被结束掉，例如某些`系统核心进程`其权限是在`0环`内核态，但有时我们不得不想办法结束掉这些特殊的进程，当然某些正常进程在特殊状态下也会无法被正常结束，此时使用驱动前行在内核态将其结束掉就变得很有用了，驱动结束进程有多种方法。
本章将探索驱动程序开发的基础部分，了解驱动对象`DRIVER_OBJECT`结构体的定义，一般来说驱动程序`DriverEntry`入口处都会存在这样一个驱动对象，该对象内所包含的就是当前所加载驱动自身的一些详细参数，例如驱动大小，驱动标志，驱动名，驱动节等等，每一个驱动程序都会存在这样的一个结构，首先来看一下微软对其的定义，此处我已将重要字段进行了备注。
本章将继续探索内核中解析PE文件的相关内容，PE文件中FOA与VA,RVA之间的转换也是很重要的，所谓的FOA是文件中的地址，VA则是内存装入后的虚拟地址，RVA是内存基址与当前地址的相对偏移，本章还是需要用到`《驱动开发：内核解析PE结构导出表》`中所封装的`KernelMapFile()`映射函数，在映射后对其PE格式进行相应的解析，并实现转换函数。
发现漏洞的第一步则是需要寻找到可利用的反汇编指令片段，在某些时候远程缓冲区溢出需要通过类似于`jmp esp`等特定的反汇编指令实现跳转功能，并以此来执行布置好的`ShellCode`恶意代码片段，`LyScript`插件则可以很好的完成对当前进程内存中特定函数的检索工作。在远程缓冲区溢出攻击中，攻击者也可以利用汇编指令`jmp esp`来实现对攻击代码的执行。该指令允许攻击者跳转到堆栈中的任意位
在Windows平台下，应用程序为了保护自己不被调试器调试会通过各种方法限制进程调试自身，通常此类反调试技术会限制我们对其进行软件逆向与漏洞分析，我们以第一种`IsDebuggerPresent`反调试为例，该函数用于检查当前程序是否在调试器的环境下运行。函数返回一个布尔值，如果当前程序正在被调试，则返回True，否则返回False。函数通过检查特定的内存地址来判断是否有调试器在运行。具体来说，该
在笔者前几篇文章中，我们使用汇编语言并通过自定位的方法实现了一个简单的`MessageBox`弹窗功能，但由于汇编语言过于繁琐在编写效率上不仅要考验开发者的底层功底，还需要写出更多的指令集，这对于普通人来说是非常困难的，当然除了通过汇编来实现`ShellCode`的编写以外，使用C同样可以实现编写，在多数情况下读者可以直接使用C开发，只有某些环境下对ShellCode条件有极为苛刻的长度限制时才会
相对于顺序栈，链表栈的内存使用更加灵活，因为链表栈的内存空间是通过动态分配获得的，它不需要在创建时确定其大小，而是根据需要逐个分配节点。当需要压入一个新的元素时，只需要分配一个新的节点，并将其插入到链表的头部；当需要弹出栈顶元素时，只需要删除链表头部的节点，并释放其所占用的内存空间即可。由于链表栈的空间利用率更高，因此在实际应用中，链表栈通常比顺序栈更受欢迎。在实现上，链表栈通过使用`malloc
动态解密执行技术可以对抗杀软的磁盘特征查杀。其原理是将程序代码段中的代码进行加密，然后将加密后的代码回写到原始位置。当程序运行时，将动态解密加密代码，并将解密后的代码回写到原始位置，从而实现内存加载。这种技术可以有效地规避杀软的特征码查杀，因为加密后的代码通常不会被标记为恶意代码。
在笔者前几篇文章中我们一直在探讨如何利用`Metasploit`这个渗透工具生成`ShellCode`以及如何将ShellCode注入到特定进程内，本章我们将自己实现一个正向`ShellCode`Shell，当进程被注入后，则我们可以通过利用NC等工具连接到被注入进程内，并以对方的权限及身份执行命令，该功能有利于于Shell的隐藏。本章的内容其原理与`《运用C语言编写ShellCode代码》`中所
导出表（Export Table）是Windows可执行文件中的一个结构，记录了可执行文件中某些函数或变量的名称和地址，这些名称和地址可以供其他程序调用或使用。当PE文件执行时Windows装载器将文件装入内存并将导入表中登记的DLL文件一并装入，再根据DLL文件中函数的导出信息对可执行文件的导入表(IAT)进行修正。
代码加密功能的实现原理，首先通过创建一个新的`.hack`区段，并对该区段进行初始化，接着我们向此区段内写入一段具有动态解密功能的`ShellCode`汇编指令集，并将程序入口地址修正为`ShellCode`地址位置处，当解密功能被运行后则可释放加密的`.text`节，此时再通过一个`JMP`指令跳转到原始`OEP`位置，则可继续执行解密后的区段。
