神剑山庄资源网 Design By www.hcban.com
实例如下所示:
import requests import re,sys,os import json import threading import pprint class spider: def __init__(self,sid,name): self.id = sid self.headers = { "Accept":"text/html,application/xhtml+xml,application/xml;", "Accept-Encoding":"gzip", "Accept-Language":"zh-CN,zh;q=0.8", "Referer":"http://www.example.com/", "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36" } self.name=name def openurl(self,url): self.request = requests.get(url,headers = self.headers) if self.request.ok: return self.request.text def matchs(self): tmall_exp = r"Setup\(([\s\S]+"### 匹配商品数据的正则 detail= r"src=\"(https://img\S+"" ###匹配 商品详情图的正则 html = self.openurl("https://detail.tmall.com/item.htm"%self.id) data = re.findall(tmall_exp,html) data = json.loads(data[0]) main_img = data['propertyPics'] ## 这里包括了主图和颜色图的地址 color_data =data['valItemInfo'] ['skuList'] ### 这里获得商品的颜色信息列表 包括颜色编码 颜色名称,商品skuID detail_html = self.openurl("http:"+data['api']["httpsDescUrl"]) detail_image = re.findall(detail,detail_html) self.newdata={"MAIN":main_img['default'],"DETAIL":detail_image,"id":self.id,} psvs = [] self.newdata['COLOR']=[] for v in range(len(color_data)): if ";"in color_data[v]["pvs"]: psv = color_data[v]['pvs'][color_data[v]['pvs'].find(";")+1:] else: psv = color_data[v]['pvs'] if psv in psvs: continue psvs.append(psv) self.newdata['COLOR'].append({color_data[v]["names"]:main_img[";"+psv+";"]}) pprint.pprint(self.newdata) return self.newdata def download(self): if len(self.newdata)>0: for x in range(len(self.newdata['MAIN'])): threading.Thread(target=self.download_main,args=(self.newdata['MAIN'][x],x)).start() for x in self.newdata['COLOR']: threading.Thread(target=self.download_color,args=(x,)).start() for x in range(len(self.newdata['DETAIL'])): threading.Thread(target=self.download_detail,args=(self.newdata['DETAIL'][x],x)).start() return def download_main(self,url,index): try: img = requests.get("http:"+url,stream=True,headers = self.headers,timeout=10) except: print(sys.exc_info()) return if img.ok: if not os.path.exists(self.name+"/main"): try: os.makedirs(self.name+"/main") except: pass imgs = open(self.name+"/main/%s.jpg"%index,"wb") imgs.write(img.content) imgs.close() def download_color(self,url): try: img = requests.get("http:"+url[list(url.keys())[0]][0],stream=True,headers = self.headers,timeout=10) except: print(sys.exc_info()) return if img.ok: if not os.path.exists(self.name+"/color"): try: os.makedirs(self.name+"/color") except: pass if "/"in list(url.keys())[0]: color = list(url.keys())[0].replace("/","_") elif "\\" in list(url.keys())[0]: color = list(url.keys())[0].replace("\\","_") else: color = list(url.keys())[0] imgs = open(self.name+"/color/%s.jpg"%color,"wb") imgs.write(img.content) imgs.close() def download_detail(self,url,index): try: img = requests.get(url,stream=True,headers = self.headers,timeout=10) except: print(sys.exc_info()) return if img.ok: if not os.path.exists(self.name+"/detail"): try: os.makedirs(self.name+"/detail") except: pass imgs = open(self.name+"/detail/%s.jpg"%index,"wb") imgs.write(img.content) imgs.close() if __name__ =="__main__": sid = 528766269341 ## 这里输入天猫宝贝ID taobao = spider(sid,"下载图片/T") taobao.matchs() taobao.download()
以上这篇python 爬虫一键爬取 淘宝天猫宝贝页面主图颜色图和详情图的教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
标签:
python,爬虫,一键爬取
神剑山庄资源网 Design By www.hcban.com
神剑山庄资源网
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
神剑山庄资源网 Design By www.hcban.com
暂无python 爬虫一键爬取 淘宝天猫宝贝页面主图颜色图和详情图的教程的评论...
更新日志
2024年10月02日
2024年10月02日
- 孙悦.1996-伙伴【正大国际】【WAV+CUE】
- 纪钧瀚《钢琴阅读时光 雨中书店聆听轻音乐》[FLAC/分轨][399.62MB]
- 证声音乐图书馆《走向自然 疗心爵士乐》[320K/MP3][87.4MB]
- 证声音乐图书馆《走向自然 疗心爵士乐》[FLAC/分轨][184.94MB]
- 陈慧娴.2018-Priscilla-Ism演唱会3CD(2024环球红馆40复刻系列)【环球】【WAV+CUE】
- 郑秀文.1999-我应该得到(国)【华纳】【WAV+CUE】
- 陈家慧.2011-钢琴酒吧2CD【龙吟唱片】【WAV+CUE】
- 证声音乐图书馆《雨季 蓝调吉他 Rainy Blues》[320K/MP3][45.01MB]
- 证声音乐图书馆《雨季 蓝调吉他 Rainy Blues》[FLAC/分轨][109.13MB]
- 赞多《序章》[320K/MP3][45.54MB]
- 许巍.2004-每一刻都是崭新的【步升大风】【WAV+CUE】
- 群星.2024-四方馆影视原声带【韶愔音乐】【FLAC分轨】
- 陈雷.1997-安锁咧【金圆唱片】【WAV+CUE】
- 关淑怡.2013-MY.FAVORITE.SK.3CD【环球】【WAV+CUE】
- Sweety.2006-花言乔语【丰华】【WAV+CUE】