Skip to content

Viper373/JD-comments

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

7 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

🛒京东商品评论爬虫

这个项目是一个用于爬取京东商品评论的Python脚本。它可以帮助用户获取指定商品的评论数据,并将数据存储在CSV文件中。

💄功能特点

  • 爬取指定商品的评论数据。
  • 将评论数据存储在CSV文件中,方便后续分析和处理。

❗❗❗特别说明

  • 由于2.0版本的项目结构问题,京东单个商品评论数量只显示990条(日期区分),因此该项目每天爬取一次,可将项目部署在服务器上,每天定时执行。

💎依赖

  • 项目版本:Python 3.10.7

💍安装

🎐 1. 克隆这个仓库到本地:

git clone https://github.com/Viper373/JD_comments
git clone [email protected]:Viper373/JD_comments.git # 若网络无法访问,请使用ssh方式(推荐)

🎑 2. 进入项目目录:

cd JD_comments

🎀 3. 安装依赖:

pip install -r requirements.txt

🎨使用方法

🎈1. 配置config.py文件中的商品信息和数据存储路径。

🎈2. 运行main.py文件:

python main.py

🎉注意事项

  • 🎗请确保你的网络环境能够访问京东网站。
  • 🎗请根据京东的反爬虫策略合理设置爬取频率,避免被封IP或其他限制。

🧨示例

简单的config.py配置示例:在PRODUCTS中添加需要爬取的商品信息,包括商品ID、类型和名称。在DATA_PATH中设置数据存储路径。