淘秀网架构与使用技术总览
淘秀网架构与使用技术总览
基于Elasticsearch/SpringBoot/Redis/RabbitMQ/Mybatis/Dubbo/Vue/MySql,结合Scrapy爬虫数据挖掘的网站建设。
最近在工作之余的时间,学习了一些新的技术,于是想做一个项目,用来巩固这些新技术。淘秀网就在这样的一个背景下诞生了,网站集成数据挖掘, 数据处理与展现于一身,其本身更像个搜索引擎。所有信息都是通过爬虫获取得到。
用户可以在网站上输入感兴趣的关键词,当用户输入一个关键词,网站展现出淘宝网中关键词相关产品的买家秀,用户可以通过查看买家秀的方式来决定是否购买当前产品,点击相应链接,前往淘宝网相关产品页面完成购买。
构架
- 数据端
- Scrapy爬虫框架(Python)
- 数据库
- Mysql
- 搜索服务器
- 后端服务
- Spring Boot
- Dubbo
- Redis
- RabbitMQ 消息队列
- Mybatis-Plus
- Druid
- ZooKeeper 注册中心
- Maven
- Swagger2:Api文档生成
- 前端服务
- Vue
- element-ui