之前学习scrapy写了一个lagou的爬虫，做到了可爬取任意岗位的全国所有岗位数据。最近在学习web开发，正好借机会实践一波，利用django+scrapy，把抓取到的数据进行可视化分析，做统计数据的WEB展示。
数据源爬取：Scrapy + Mongodb
二次数据分析：结巴分词
WEB后端展示：Django + RESTful API + Postgre
WEB前端:Flask + Jinja2渲染 + Redis
部署基于Centos7 + Gunicorn(gevent)。
defland/jobstat
Folders and files
| Name | Name | Last commit date | ||
|---|---|---|---|---|