cursor开发自动化工具–闲鱼篇

前言

前段时间收到了鱼丸的消息，询问是否还在关注AI编程相关的内容，正好近期通过cursor完成了闲鱼自动化工具的开发，借此机会分享一下我做工具的玩法，跟大家学习交流。

先放一张思维导图解释一下工具的大致功能：

所有工具大概分为三个模块：

前端：

技术栈：vue + element-ui

功能：主要负责更好的查看和维护数据库数据

后端：

技术栈：nodejs + mysql

功能：主要用于存储和管理闲鱼的数据

脚本：

技术栈：python

功能：主要用于采集数据+发布商品

接下来我将按照模块划分来详细描述一下我是如何通过cursor来完成这三个模块的具体开发的。进入正题！

一：脚本【重要】

功能展示

我们首先来看一下完整的脚本操作过程，我录制了两个视频，视频内容包含采集关键词、采集详情、上传等功能。由于上传是单独的脚本，所以关于上传请看第二个视频。

采集脚本演示：主要演示了自动采集状态为未采集的关键词，当关键词采集完成以后，自动采集未采集的商品详情。

主要演示脚本上传商品的功能：选择类目、上传图片、填写标题文案、设置sku等

详细功能

采集脚本

连接比特浏览器，API接口文档。

脚本基础配置：

数据库配置

采集配置（并行采集数量、重试次数、等待时间等）

过滤配置（过滤想要数）

coze配置（密钥、bot_id）

采集关键词商品列表

商品列表需要保存的字段有：商品ID、商品标题、商品文案、商品主图、价格、库存、状态、所属关键词、采集时间、采集状态、想要数、卖家ID等。这些信息我们需要存储在数据表中，方便我们后续的查询。

采集商品详情

商品详情需要保存的字段有：商品所有图片、商品sku信息、浏览量等。

标题文案脚本

使用coze生成标题文案：cozeAPI文档。

上传脚本

使用webdriver打开浏览器进入指定页面

判断是否需要登录

进入发布页面

选择设置好的类目和需要发布的闲鱼店铺

上传图片、填写标题文案

判断sku属性（单个sku、单组sku、双组sku），设置sku属性、sku库存、价格

一些配置选项（是否发布、是否擦亮等），点击发布。

开发思路

由于脚本内容多，接下来关于脚本的样例我统一使用采集脚本来做演示，避免造成混乱。

如果是相对简单的脚本，那么无需使用chat，我认为composer足够完成简单脚本的开发。流程还是一样的，需要先明确需求、制定开发文档、完成代码编写。

二：后端【重要】

详细功能

我的开发习惯遵从模块化开发。

模块化开发是一种软件开发方法，旨在将复杂的软件系统拆分成多个独立、可重用的模块，以提高开发效率、代码重用性、可维护性和可扩展性。

定义和基本属性

模块化开发通过将软件系统自顶向下逐层划分成若干个简单的模块，每个模块都拥有清晰的功能和接口，可以独立开发、测试和维护。这些模块通过定义好的接口相互协作，共同实现整个系统的功能。每个模块通常具有以下几种基本属性：

接口：模块对外提供的服务或功能调用方式，是模块间相互通信的桥梁。

功能：模块实现的具体业务逻辑或任务，是模块的核心价值所在。

逻辑：模块内部的实现细节，包括算法、数据结构等，反映了模块的内部特性。

状态：模块在执行过程中可能处于的不同状态，以及状态之间的转换关系。

优势

提高开发效率：通过将系统拆分为多个模块，可以并行开发，减少开发周期。开发人员可以专注于特定模块的实现，提高开发效率。

提高代码重用性：模块是独立的、可重用的软件单元，通过封装通用功能和接口，可以在不同的项目中进行复用，减少重复劳动。

提高可维护性：由于模块间通过接口进行通信，降低了模块间的耦合度，使得修改或更新某个模块时不会影响到其他模块。此外，模块化的结构也使得代码更加清晰、易于理解和维护。

提高可扩展性：当系统需要增加新功能时，可以通过添加新的模块或修改现有模块的接口来实现，而无需对整个系统进行重构。

我们在开发之前首先需要明确我们需要哪些数据，需要基于哪些数据做一些什么样的操作。数据库应该存储一些什么信息，哪些信息是重要的，哪些信息是次要的。由上面得出后端需要具备内的功能点有哪些。如果想实现从采集 -> 上传完整的步骤，那么后端所必须具备的东西有如下图片所示。

开发思路

当我们的需求明确之后，可以给cursor分配角色（ Chat ⌈产品经理⌋、Chat ⌈ 代码审查 ⌋、Composer ⌈ 程序员 ⌋）我们就可以通过 cursor 来创建我们的应用。

和 ⌈产品经理⌋ 商讨完整的开发流程、制定开发文档。

这是一份初始的开发文档。可以基于此文档继续进行完善。

让cursor基于基础文档进行更新，我们可以在沟通的过程中，删除我们不需要的功能，比如一些过度的设计（库存预警、安全日志等）

这是一份进行了基础修改的文档，我们可以根据自己的需求来完善和修改。

和 ⌈程序员⌋ 详细沟通需求、进行代码实现。我们再次强调一下，我这里遵从模块化的开发，这样方便后续的开发和扩展。

让 ⌈代码审查⌋ 仔细审查代码，给出完善准确的代码修改方案。我们通过代码审查过一遍composer的代码，看一下代码审查给出的建议，筛选出我们认为有必要的修改告诉代码审查写成一份完整的代码审查报告。我们将审查报告发给composer让它依据报告进行修改。

我们需要将数据库所有数据表的完整字段打印出来，以备后续脚本开发时使用。样例：

mysql> SHOW COLUMNS FROM t_prod_image;
+————+————–+——+—–+——————-+——————-+
| Field | Type | Null | Key | Default | Extra |
+————+————–+——+—–+——————-+——————-+
| id | bigint | NO | PRI | NULL | auto_increment |
| product_id | bigint | NO | MUL | NULL | |
| url | varchar(500) | NO | | NULL | |
| sort | int | NO | | 0 | |
| is_main | tinyint | NO | | 0 | |
| status | tinyint | NO | MUL | 1 | |
| file_size | int | YES | | NULL | |
| dimensions | varchar(20) | YES | | NULL | |
| created_at | datetime | NO | | CURRENT_TIMESTAMP | DEFAULT_GENERATED |
+————+————–+——+—–+——————-+——————-+
9 rows in set (0.00 sec)

mysql> SHOW COLUMNS FROM t_prod_info;
+——————-+—————+——+—–+——————-+———————————————–+
| Field | Type | Null | Key | Default | Extra |
+——————-+—————+——+—–+——————-+———————————————–+
| id | bigint | NO | PRI | NULL | auto_increment |
| name | varchar(255) | NO | | NULL | |
| title | varchar(255) | NO | | NULL | |
| code | varchar(50) | NO | MUL | NULL | |
| category_id | bigint | NO | MUL | NULL | |
| price | decimal(10,2) | NO | | 0.00 | |
| stock | int | NO | | 0 | |
| sales | int | NO | | 0 | |
| status | tinyint | NO | MUL | 0 | |
| source_url | varchar(500) | YES | | NULL | |
| description | text | YES | | NULL | |
| keywords | varchar(500) | YES | MUL | NULL | |
| shop_id | bigint | NO | MUL | NULL | |
| collect_time | datetime | YES | MUL | NULL | |
| publish_time | datetime | YES | | NULL | |
| rewrite_status | tinyint | NO | MUL | 0 | |
| publish_status | tinyint | NO | MUL | 0 | |
| created_at | datetime | NO | | CURRENT_TIMESTAMP | DEFAULT_GENERATED |
| updated_at | datetime | NO | | CURRENT_TIMESTAMP | DEFAULT_GENERATED on update CURRENT_TIMESTAMP |
| deleted_at | datetime | YES | | NULL | |
| collect_status | tinyint | NO | MUL | 0 | |
| collect_error | varchar(500) | YES | | NULL | |
| collect_count | int | NO | | 0 | |
| last_collect_time | datetime | YES | | NULL | |
+——————-+—————+——+—–+——————-+———————————————–+
24 rows in set (0.00 sec)

mysql> SHOW COLUMNS FROM t_shop_info;
+——————–+————–+——+—–+——————-+———————————————–+
| Field | Type | Null | Key | Default | Extra |
+——————–+————–+——+—–+——————-+———————————————–+
| id | bigint | NO | PRI | NULL | auto_increment |
| name | varchar(100) | NO | | NULL | |
| platform | varchar(50) | NO | MUL | NULL | |
| shop_url | varchar(500) | YES | | NULL | |
| status | tinyint | NO | MUL | 0 | |
| rating | decimal(2,1) | YES | | 5.0 | |
| created_at | datetime | NO | | CURRENT_TIMESTAMP | DEFAULT_GENERATED |
| updated_at | datetime | NO | | CURRENT_TIMESTAMP | DEFAULT_GENERATED on update CURRENT_TIMESTAMP |
| total_products | int | NO | | 0 | |
| collected_products | int | NO | | 0 | |
| last_collect_time | datetime | YES | | NULL | |
| collect_status | tinyint | NO | MUL | 0 | |
+——————–+————–+——+—–+——————-+———————————————–+
12 rows in set (0.00 sec)

mysql> SHOW COLUMNS FROM cookies;
ERROR 2013 (HY000): Lost connection to MySQL server during query
No connection. Trying to reconnect…
Connection id: 117
Current database: xianyu_manage

+—————+————–+——+—–+——————-+———————————————–+
| Field | Type | Null | Key | Default | Extra |
+—————+————–+——+—–+——————-+———————————————–+
| id | int | NO | PRI | NULL | auto_increment |
| cookie | text | NO | | NULL | |
| token | varchar(255) | NO | | NULL | |
| create_time | datetime | YES | | CURRENT_TIMESTAMP | DEFAULT_GENERATED |
| update_time | datetime | YES | | CURRENT_TIMESTAMP | DEFAULT_GENERATED on update CURRENT_TIMESTAMP |
| last_use | datetime | YES | | NULL | |
| is_valid | tinyint(1) | YES | | 1 | |
| fail_count | int | YES | | 0 | |
| success_count | int | YES | | 0 | |
+—————+————–+——+—–+——————-+———————————————–+
9 rows in set (0.01 sec)

mysql> SHOW COLUMNS FROM proxies;
+—————+————–+——+—–+——————-+———————————————–+
| Field | Type | Null | Key | Default | Extra |
+—————+————–+——+—–+——————-+———————————————–+
| id | int | NO | PRI | NULL | auto_increment |
| ip | varchar(255) | NO | | NULL | |
| port | int | NO | | NULL | |
| protocol | varchar(10) | YES | | http | |
| is_valid | tinyint(1) | YES | | 1 | |
| create_time | datetime | YES | | CURRENT_TIMESTAMP | DEFAULT_GENERATED |
| update_time | datetime | YES | | CURRENT_TIMESTAMP | DEFAULT_GENERATED on update CURRENT_TIMESTAMP |
| last_use | datetime | YES | | NULL | |
| fail_count | int | YES | | 0 | |
| success_count | int | YES | | 0 | |
+—————+————–+——+—–+——————-+———————————————–+
10 rows in set (0.00 sec)