Python爬取链家海量二手房房产信息并打包成exe软件

前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
基本开发环境
Python3.6
Pycharm
相关模块使用

文章图片
目标网页分析

文章图片
点击二手房，即可进入。

文章图片
看到这价格，只想说一句，真特么贵
列表页

文章图片
详情页

文章图片
网页是静态数据，请求url即可获取网页源代码，然后再解析数据即可，难度不大

文章图片
获取数据内容：
总售价，
单价，
建筑面积，
所在楼层，
房屋朝向，
房屋户型，
装修情况，
配备电梯，
建筑结构，
小区名称，
交易权属，
房租用途
运行效果图

文章图片

文章图片
需要注意的点：

文章图片
'https://bj.lianjia.com/ershoufang/rs%E7%8F%A0%E6%B1%9F%E7%BD%97%E9%A9%AC%E5%98%89%E5%9B%AD%E8%A5%BF%E5%8C%BA/'
需要输入搜索内容需要转码
这个为例：

文章图片
如何打包成exe软件：
1、在cmd命令行中安装pyinstaller模块pipinstallpyinstaller
（windows键+R输入cmd即可）

文章图片

文章图片
我这里已经是安装好的
2、打包exe ，命令pyinstall-Fxxxx.py（文件名）
同样在cmd当中，先cd选择到py文件所在的路径输入命令即可打包。
在文件所在文件夹中，按住shift+鼠标右键，选择在此处打开Powershell窗口，进入之后输入相关命令。
为了方便我选择第二种。

文章图片

文章图片

文章图片
这样就打包成功了，关于打包exe还有很多其他的内容，这里就不详聊了。
3、exe运行效果

文章图片
输入想要爬取的城市、小区以及需要爬取多少页数据。
当爬取完成之后可以选择是否继续爬取。
4、可完善的地方。
界面太丑了，可以选择自己写一个GUI界面。可使用TK或者QT
可以分区域爬取，小区毕竟太少了，可以按照每个城市的区域去划分
暂时没想到，欢迎大家留言讨论
相关代码
获取网页源代码以及解析

文章图片
获取每个房源信息url