基于AIGC的京东购物助手的技术方案设想

基于,aigc,京东,购物,助手,技术,方案,设想 · 浏览次数 : 147

小编点评

**技术方案** **1. 语言理解** - 使用Prompt将用户意图识别并将其解析为购物需求。 **2. 网页搜索** - 通过Selenium框架在京东商城进行搜索,获取目标商品的商品名称、价格、链接。 **3. AIGC服务** - 使用OpenAI插件提供商品推荐和搜索功能。 **4. 数据处理** - 合并来自OpenAI插件和京东商城的信息,形成完整的购物指南。 **5. 用户反馈** - 生成markdown格式的购物指南,交给用户阅读。 **6. 自动化代理** - 使用LangChain框架搭建自动化代理平台,将AI购物助手与线下商城导购员集成。 **简化方案** - 通过Prompt识别用户意图。 - 使用Selenium搜索商品。 - 使用OpenAI提供商品推荐。 - 整合京东商城知识库。 - 生成markdown文档,交给用户阅读。 **改进方向** - 使用多语言支持。 - 添加个性化推荐功能。 - 引入聊天机器人技术。

正文

灵感来源

随着AIGC的爆火,ChatGPT,GPT-4的发布,我作为一个算法工作者,深感AI发展的迅猛。最近,OpenAI的插件和联网功能陆续向用户公开,我也在第一时间试用了这些最新的功能。在OpenAI的插件市场上,我被一个可以帮助分析食谱,并生成购物清单的功能所吸引。我开始思考,如果我能够基于京东商城和AIGC的能力,帮助用户分解需求,在商城搜索相关商品,并直接返回他们想要的商品,甚至将所需商品直接加入到购物车,待后续用户结账购买,那将会是多么方便。

技术方案

方案设想

虽然我不清楚OpenAI上的Plugins是如何将OpenAI与插件所对应的网站结合的具体细节,但我认为大致的思路应该是这样的:通过GPT去判断用户的意图,如果OpenAI察觉到用户有插件对应的意图,它就去调用插件,从而提供服务。另外,由于我没有京东内部的搜索查询,购物车等接口,所以我暂时通过自动化测试软件模仿人类点击查询等操作来提供服务。

方案逻辑

我想做一个购物助手,并且只想做一个POC验证,所以技术上一切从简。大致的技术细节如下图所示:
技术方案.drawio.png
在开始的时候,通过Prompt,让GPT判断用户意图。如果GPT判断出用户有购物意图,那么它将分解需求,并生成推荐的物品。然后,通过Selenium等框架操纵浏览器在京东商城进行搜索,将目标商品的商品名称,价格,链接进行整合返回给GPT。最后,GPT将这些信息整理成markdown格式的文档,交给用户阅读。

简单地说,我用Gradio搭建前端界面,OpenAI提供AIGC支持,Selenium进行网络操作。

结果展示

样例1

输入:
7a9fa484103971aa.png

输出:
20AA968D-727B-4FFF-9D3F-96D3845E1327.png

样例2

输入:
8fa7047689e5019a.jpg

输出:
2c8bbea7ee99e31c.png

样例3

输入:
cd715a6fc10ace3e.jpg

输出:
250e21b861e4c2e6.png

改进方向

虽然现在的工具使用还是比较简单,对于用户意图也只是手动判断,但未来有很大的改进空间。我计划通过LangChain等框架,搭建自动化代理平台,并整合商城知识库,让AI购物助手能向线下商城导购员趋同。这样,我们就可以提供更加个性化和高效的购物体验。

作者:京东工业 边圣陶

来源:京东云开发者社区

与基于AIGC的京东购物助手的技术方案设想相似的内容:

基于AIGC的京东购物助手的技术方案设想

随着AIGC的爆火,ChatGPT,GPT-4的发布,我作为一个算法工作者,深感AI发展的迅猛。最近,OpenAI的插件和联网功能陆续向用户公开,我也在第一时间试用了这些最新的功能。在OpenAI的插件市场上,我被一个可以帮助分析食谱,并生成购物清单的功能所吸引。

[Python急救站]基于Transformer Models模型完成GPT2的学生AIGC学习训练模型

为了AIGC的学习,我做了一个基于Transformer Models模型完成GPT2的学生AIGC学习训练模型,指在训练模型中学习编程AI。 在编程之前需要准备一些文件: 首先,先win+R打开运行框,输入:PowerShell后 输入: pip install -U huggingface_hu

AIGC革新,将文字或者LOGO融入AI视频基于PIKA-labs(Python3.10)

很多平台都会禁止用户使用带有网址或者二维码的头像以及文章配图,这样可以有效的防止用户的一些“导流”行为。当然,头像、文章或者视频现在都是AI来审,毕竟现在人工的成本实在太高,但是如果我们把文字元素直接融入图像或者视频之中,如此一来,AI也会很难识别出一些“导流”的元素。 本次我们依靠PIKA-lab

南洋才女,德艺双馨,孙燕姿本尊回应AI孙燕姿(基于Sadtalker/Python3.10)

孙燕姿果然不愧是孙燕姿,不愧为南洋理工大学的高材生,近日她在个人官方媒体博客上写了一篇英文版的长文,正式回应现在满城风雨的“AI孙燕姿”现象,流行天后展示了超人一等的智识水平,行文优美,绵恒隽永,对AIGC艺术表现得极其克制,又相当宽容,充满了语言上的古典之美,表现出了“任彼如泰山压顶,我只当清风拂

AIGC时代:未来已来

摘要:人工智能的快速发展使得我们进入了AIGC时代。AIGC时代的到来,将会带来巨大的机遇和挑战。 本文分享自华为云社区《GPT-4发布,AIGC时代的多模态还能走多远?系列之一: AIGC时代:未来已来》,作者: ModelArts 开发 。 人工智能的快速发展使得我们进入了AIGC时代,即人工智

基于ORB-SLAM3库搭建SLAM系统

> 博客地址:https://www.cnblogs.com/zylyehuo/ ## 参考资料 > [ORB-SLAM3配置及安装教程](https://blog.csdn.net/shadowmimii/article/details/129472719) > [ ORB-SLAM3配置安装及运

基于Gazebo搭建移动机器人,并结合SLAM系统完成建图仿真

博客地址:https://www.cnblogs.com/zylyehuo/ gazebo小车模型创建及仿真详见之前博客 gazebo小车模型(附带仿真环境) - zylyehuo - 博客园 gazebo+rviz 仿真 - zylyehuo - 博客园 参考链接 Autolabor-ROS机器人

基于SLAM系统建图仿真,完成定位仿真

博客地址:https://www.cnblogs.com/zylyehuo/ 基于SLAM系统完成建图仿真,详见之前的博客 基于Gazebo搭建移动机器人,并结合SLAM系统完成建图仿真 - zylyehuo - 博客园 参考链接 Autolabor-ROS机器人入门课程《ROS理论与实践》 Par

基于机器人自主移动实现SLAM建图

> 博客地址:https://www.cnblogs.com/zylyehuo/ > 基于[移动机器人运动规划及运动仿真],详见之前的博客 > > [移动机器人运动规划及运动仿真 - zylyehuo - 博客园](https://www.cnblogs.com/zylyehuo/p/1740070

基于pandas的数据清洗 -- 缺失值(空值)的清洗

博客地址:https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境:集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 丢失数据的类型 原始数据中会存在两种