如何收集天猫数据

A. 如何抓取天猫和淘宝的运营数据

数据这个东西太多，没有人会了比较好的解释，这样说吧，每个类目的数据都不一样，每一个类目对应该的人群也不一样，就比如说你找了一个买衣服类目的数据，但是你是做汽车用品的，那就没有用了，可能是女装，女装可能谁都可以买的起，买了有用，但是汽车用品就一样了，不有汽车的人买了没有用；如果是要找类目的，，这个可以给你做参考，你可以去找十来家同类目的商家，来比较自己的缺点，你的定位人群是不是有误，各方面等，你要知道这个买的不是别的就是一张图，买的就是图片。

B. 如何爬虫天猫店铺数据python

本编博客是关于爬取天猫店铺中指定店铺的所有商品基础信息的爬虫，爬虫运行只需要输入相应店铺的域名名称即可，信息将以csv表格的形式保存，可以单店爬取也可以增加一个循环进行同时爬取。

源码展示

首先还是完整代码展示，后面会分解每个函数的意义。

# -*- coding: utf-8 -*-
import requests
import json
import csv
import random
import re
from datetime import datetime
import time

class TM_procs(object):
def __init__(self,storename):
self.storename = storename
self.url = ''.format(storename)
self.headers = {
"user-agent":"Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 "
"(KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"
}
datenum = datetime.now().strftime('%Y%m%d%H%M')
self.filename = '{}_{}.csv'.format(self.storename, datenum)
self.get_file()

def get_file(self):
'''创建一个含有标题的表格'''
title = ['item_id','price','quantity','sold','title','totalSoldQuantity','url','img']
with open(self.filename,'w',newline='') as f:
writer = csv.DictWriter(f,fieldnames=title)
writer.writeheader()
return

def get_totalpage(self):
'''提取总页码数'''
num = random.randint(83739921,87739530)
enrl = '/shop/shop_auction_search.do?sort=s&p=1&page_size=12&from=h5&ajson=1&_tm_source=tmallsearch&callback=jsonp_{}'
url = self.url + enrl.format(num)
html = requests.get(url,headers=self.headers).text
infos = re.findall('(({.*}))',html)[0]
infos = json.loads(infos)
totalpage = infos.get('total_page')
return int(totalpage)

def get_procts(self,page):
'''提取单页商品列表'''
num = random.randint(83739921, 87739530)
enrl = '/shop/shop_auction_search.do?sort=s&p={}&page_size=12&from=h5&ajson=1&_tm_source=tmallsearch&callback=jsonp_{}'
url = self.url + enrl.format(page,num)
html = requests.get(url, headers=self.headers).text
infos = re.findall('(({.*}))', html)[0]
infos = json.loads(infos)
procts = infos.get('items')
title = ['item_id', 'price', 'quantity', 'sold', 'title', 'totalSoldQuantity', 'url', 'img']
with open(self.filename, 'a', newline='') as f:
writer = csv.DictWriter(f, fieldnames=title)
writer.writerows(procts)

def main(self):
'''循环爬取所有页面宝贝'''
total_page = self.get_totalpage()
for i in range(1,total_page+1):
self.get_procts(i)
print('总计{}页商品，已经提取第{}页'.format(total_page,i))
time.sleep(1+random.random())

if __name__ == '__main__':
storename = 'uniqlo'
tm = TM_procs(storename)
tm.main()

上面代码是选择了优衣库作为测试店铺，直接输入优衣库店铺的域名中关键词即可，最终表格会按照店铺名称和时间名词。

代码解读

导入库说明

• requests库不用多数，爬取网页的主要库

• json库是用来解析 json 格式的数据的，也就是 Python 中的字典格式

• csv库是用来创建 csv 表格和保存信息的

• random库是用来生成一个随机数的，这个代码中用到了两次，第一次是生成一个随机数据去获取最新的网页信息而不是缓存信息，第二次是随机一个时间，来减缓爬虫速度

• re库是正则，主要用来提取信息

• datetime和time都是时间库，前者一般用来生成当前时间字符串，后者本爬虫使用设置延迟时间

爬虫思路

• 首先通过分析手机端天猫店铺所有商品的网页，可以发现每次下滑一页都有一个 js 被加载，这个 js 的规律可以总结一下；

• 通过分析可以发现每次请求 js 都可以得到一个关键信息，那就是 total_page 这个参数，这也一想就能猜到，就是当前店铺的总页码数，所以可以先取得这个数字，然后使用循环爬取全店商品；

• 每一页有24个商品，而请求得到的是一个类似于 json 格式的网页信息，但是并非是直接的 json,所以可以用正则表达式提取符合 json 格式的部分留用；

• 将每一页的信息保存到 csv 表格中，可以直接使用 csv 库的字典存储方式，非常方便；

• 得到了单页的信息，也得到了总页码数，只需要一个循环就可以爬取全店的商品了。

构造爬虫类

• def __init__(self,storename):


• self.storename = storename


• self.url = '.format(storename)


• self.headers = {


• "user-agent":"Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 "


• "(KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"


• }


• datenum = datetime.now().strftime('%Y%m%d%H%M')


• self.filename = '{}_{}.csv'.format(self.storename, datenum)


• self.get_file()



上面代码依次完成以下操作：

• 首先整个爬虫是写成了一个类，在初始化类的时候需要传递一个参数，这个参数就是店铺的名称。

• 然后构造出店铺的所有商品页面的前半部分，这部分都是不会变的

• 接着设置一个请求头

• 按照当前时间生成一个以时间为依据的字符串，用来给文件命名，然后赋值给文件名称，确定保存文件的名称

• 最后一句是在类生成的时候就运行这个函数，及生成一个带有标题的表格，后面会说道这个函数的具体含义

C. 如何查看天猫数据

天猫是一个发展十分迅速的平台，互联网的兴起让线上平台的发展速度也快了起来，入驻天猫商城的商家资质也非常严格，具体的可以参考爱开淘网站上的内容来了解。对于商家们来说想要运营好自己的店铺，必不可少的就是数据的积累，通过对这些历史数据进行分析，能够制定出好的推广策略，找到更加适合自己店铺的营销方法，这也是很多天猫商家们迫切需要了解的内容。本文也会简单介绍一下如何查看天猫运营数据，通过这些数据能够做好店铺的运营工作。

一、点击率

1.查看路径

在生意参谋-经营分析-商品效果页面内进行查询。

2.重点查看内容

第一，店铺内商品的点击率不能低于3%，一定要赶紧分析原因，找到问题之后赶紧解决。一般影响点击率的原因是产品主图，价格以及店铺基础销量。如果商品的点击率超过10%以上，相信你的店铺会迎来一个销量的爆发。

第二，想要查看点击率要选择PC端的数据，经过分析只有PC端的点击率数据指标才更准确，更有参考价值，如果数据的指标维度小的话，可以将时间定在7天，这样获得的数据才更有参考价值。

二、收藏率，加购率

1.查看路径

生意参谋-经营分析-商品效果

2.重点查看内容

第一，如果店铺和商品的收藏率和加购率能够保证在10%以上，店铺的流量就获得一个火爆的增长，自然能够获得的成交量也会更多。

第二，要时刻了解影响收藏率和加购率的因素包括：详情页的设置以及精美程度，吸引消费者的优惠活动力度，客服沟通的技巧，客户的评论情况等。

第三，如果筛选的数据维度不够的话，还是要选择7天的数据作为参考，这样得出的数据准确率才更高一些。

三、转化率

1.查看路径

生意参首核心指标

2.重点查看内容

经过一段时间的运营，店铺的转化率肯定会发生变化，权重会逐渐增加，想要获得更高的转化率需要的就是不断的优化店铺内商品的页面设置，以及多进行一些吸引人访问的活动，这样消费者会更愿意在页面上停留，对于店铺来说也会有更好的帮助。

天猫店铺的数据还包括销量，流量以及订单量等指标，每一个数据之间都是相辅相成的关系，任何一个数据都不能被忽视，这样才能够通过这些数据综合评判出店铺运营情况，从而找到更好的方法。

D. 如何获取京东,天猫某一品牌或者某一行业的销量数据有什么工具或者方法

1、看它们官方发布的数据
2、找内部知情工作人员
3、寻求市场调研机构的帮助（比如Nielsen尼尔森）

E. 如何统计分析双十一天猫数据

首先说一个众所周知的数据：2017年双十一天猫成交额1682亿。

数据来源：网络整理

涉及工具：BDP个人版、微舆情、微指数、wordart

F. 使用天猫平台在前台可以收集哪些数据

售价、评价数、库存、历史最低价、店铺名称等
“天猫”（英文：Tmall，亦称淘宝商城、天猫商城）原名淘宝商城，是一个综合性购物网站。2012年1月11日上午，淘宝商城正式宣布更名为“天猫”。2012年3月29日天猫发布全新Logo形象。2012年11月11日，天猫借光棍节大赚一笔，宣称13小时卖100亿，创世界纪录。天猫是马云淘宝网全新打造的B2C（Business-to-Consumer，商业零售）。其整合数千家品牌商、生产商，为商家和消费者之间提供一站式解决方案。提供100%品质保证的商品，7天无理由退货的售后服务，以及购物积分返现等优质服务。2014年2月19日，阿里集团宣布天猫国际正式上线，为国内消费者直供海外原装进口商品。
2018年11月26日，天猫升级为“大天猫”，形成天猫事业群、天猫超市事业群、天猫进出口事业部三大板块。2019年03月06日，蒋凡接替靖捷，任天猫总裁。
2019年9月7日，中国商业联合会、中华全国商业信息中心发布2018年度中国零售百强名单，天猫排名第1位[1]2019年12月12日，《汇桔网·2019胡润品牌榜》发布，天猫以3200亿元品牌价值排名第三，上榜2019最具价值中国民营品牌十强,排名第一。

G. 怎么可以查到淘宝、天猫的销售数据、交易额、以及各分类的所占比列

淘宝 天猫的数据明细是可以通过做数据分析出的，不过需要做很多数据的收集已经分析，一般高级的电商负责人已经运营都是有类似的数据分析的