基于python爬取链家二手房信息代码示例

脚本专栏 2024/11/17 佚名

2 0 1

神剑山庄资源网 Design By www.hcban.com

基本环境配置

python 3.6
pycharm
requests
parsel
time

相关模块pip安装即可

确定目标网页数据

哦豁，这个价格..................看到都觉得脑阔疼

通过开发者工具，可以直接找到网页返回的数据~

每一个二手房的数据，都在网页的 li 标签里面，咱们可以获取网页返回的数据，然后通过解析，就可以获取到自己想要的数据了~

获取网页数据

import requests
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

解析网页数据

import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
  title = li.css('.title a::text').get()
  dit['标题'] = title
  positionInfo = li.css('.positionInfo a::text').getall()
  info = '-'.join(positionInfo)
  dit['开发商'] = info
  houseInfo = li.css('.houseInfo::text').get()
  dit['房子信息'] = houseInfo
  followInfo = li.css('.followInfo::text').get()
  dit['发布周期'] = followInfo
  Price = li.css('.totalPrice span::text').get()
  dit['售价/万'] = Price
  unitPrice = li.css('.unitPrice span::text').get()
  dit['单价'] = unitPrice
  csv_writer.writerow(dit)
  print(dit)

保存数据

import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

python,爬取,链家,二手房,信息

标签：

python,爬取,链家,二手房,信息

神剑山庄资源网 Design By www.hcban.com

神剑山庄资源网 免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

神剑山庄资源网 Design By www.hcban.com

评论“基于python爬取链家二手房信息代码示例”

暂无基于python爬取链家二手房信息代码示例的评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月17日

基于python爬取链家二手房信息代码示例

python,爬取,链家,二手房,信息

利用Python实现字幕挂载(把字幕文件与视频合并)思路详解

Python测试框架：pytest学习笔记

评论“基于python爬取链家二手房信息代码示例”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接