大锅在做外卖,给我说能否统计出这半年点餐次数多的10个顾客,我不知道APP本身是否有这个功能,想了下近用selenium较多,用selenium尝试下吧。
1、定义一个类,这里先描述需要的属性和方法,后面再依次具体分析:
1 class Order:
2 def __init__(self, url, username, password):
3 # URL以及用户名和密码
4 self.url = url
5 self.username = username
6 self.password = password
7 # webdriver对象
8 self.driver = None
9 # 日期列表
10 self.dateList = list()
11 # 存储订单的dict
12 self.orderDict = dict()
13
14 # 设置订单的时间范围
15 def setDate(self, startdate, enddate):
16 pass
17 # 登录
18 def login(self):
19 pass
20 # 退出
21 def logout(self):
22 pass
23 # 切换到历史订单页面
24 def switchToHistoryOrder(self):
25 pass
26 # 选择一个时间范围
27 def selectDate(self, startDate, endDate):
28 pass
29 # 订单信息存入self.orderDict
30 def saveOrderIntoDict(self, tel, name, address):
31 pass
32 # 处理当前页面的订单
33 def searchOrderListInCurrentPage(self):
34 pass
35 # 判断是否还有下一页
36 def hasNextPage(self):
37 pass
38 # 切换到下一页
39 def enterNextPage(self):
40 pass
41 # 抓取设定日期范围内的所有订单
42 def getAllOrders(self, startdate, enddate):
43 pass
44 # 筛选出点餐次数排名前N的顾客
45 def getTopN(self, n=10):
46 pass
2、设置欲筛选的订单日期范围
这里设置的日期格式必须是'yyyy-mm-dd',由于该网站在查询订单的时候,时间范围必须是7天以内,比如直接查询2016-01-01到2016-02-28之间的订单是不行的,因此需要先将这段时间以7天为周期分割为多个时间段,然后再分段处理;
分割后的时间段存放在self.dateList中,list的元素为tuple,一个tuple表示一个时间段:
1 # 设置订单的时间范围,日期格式必须是'yyyy-mm-dd'
2 # 然后以7天为周期,将日期范围分割成list,list的每个元素为一个tuple,分别存放起止日期
3 # 例如 [('2016-01-01', '2016-01-07'), ('2016-01-08', '2016-01-14')]
4 def setDate(self, startdate, enddate):
5 # 通过正则表达式检查日期格式
6 pdate = re.compile('d{4}-d{2}-d{2}')
7 if pdate.search(startdate) and pdate.search(enddate):
8 # 转换为datetime格式,便于日期计算
9 startdate = datetime.datetime.strptime(startdate, '%Y-%m-%d')
10 enddate = datetime.datetime.strptime(enddate, '%Y-%m-%d')
11
12 # 将日期范围以7天为周期分割
13 days = (enddate - startdate).days + 1
14 cnt = days / 7
15 left = days - 7*cnt
16 for x in range(cnt):
17 d1 = (startdate + datetime.timedelta(days=7*x))
18 d2 = (d1 + datetime.timedelta(days=6))
19 # datetime转换为str,再加入list中
20 self.dateList.append((d1.strftime('%Y-%m-%d'), d2.strftime('%Y-%m-%d')))
21 if left > 0:
22 self.dateList.append(((startdate+datetime.timedelta(days=cnt*7)).strftime('%Y-%m-%d'), enddate.strftime('%Y-%m-%d')))
23 else:
24 print u'日期格式错误,必须为yyyy-mm-dd格式'
25 exit(1)
测试一下:
1 order = Order('url', 'username', 'password')
2 order.setDate('2016-01-01', '2016-01-31')
3 print order.dateList
4 #输出为
5 [('2016-01-01', '2016-01-07'), ('2016-01-08', '2016-01-14'), ('2016-01-15', '2016-01-21'), ('2016-01-22', '2016-01-28'), ('2016-01-29', '2016-01-31')]
3、登录与退出
登录比较简单,直接过id定位到用户名和密码输入框,然后定位登录按钮点击登录即可,只是定位到输入框后需要先将框内的提示信息清除掉。
退出更简单了,直接关闭浏览器即可。
1 # 登录
2 def login(self):
3 # 采用chrome浏览器
4 self.driver = webdriver.Chrome()
5 # 窗口大化
6 self.driver.maximize_window()
7 # 设置超时时间
8 self.driver.implicitly_wait(10)
9 self.driver.get(self.url)
10
11 # 查找用户名输入框,先清除提示信息,再输入用户名
12 usr = self.driver.find_element_by_id('account-name')
13 usr.clear()
14 usr.send_keys(self.username)
15
16 # 查找密码输入框,先清除提示信息,再输入密码
17 passwd = self.driver.find_element_by_id('account-password')
18 passwd.clear()
19 passwd.send_keys(self.password)
20
21 # 点击登录
22 self.driver.find_element_by_id('account-login-btn').click()
23 return
24
25 # 退出
26 def logout(self):
27 self.driver.close()
28 return
4、切换到历史订单页面
登录后点击订单管理,然后点击历史订单,切换到历史订单页面,如下图所示:
由于“订单管理”和“历史订单”这两个元素都是超链接,因此可以直接用超链接定位:
1 # 切换到历史订单页面
2 def switchToHistoryOrder(self):
3 self.driver.find_element_by_partial_link_text(u'订单管理').click()
4 self.driver.find_element_by_partial_link_text(u'历史订单').click()
5
6 # 切换frame,因为后续的所有处理都是在hashframe中,所有在这里切换
7 self.driver.switch_to.frame('hashframe')
8 return
注意该方法后有个切换frame的操作,下一步知道为什么要添加这句了。
5、选择订单日期范围,筛选出该日期范围内的订单
注意这里的日期范围与第二步设置的日期范围不一样,第二步设置的日期范围是我们想要筛选的起止时间,这里的日期范围是第二步分割出来的其中一段。
与用户名密码框一样,这里的日期输入框也可采用id定位,同样定位后需要先将输入框预置的日期清除:
1 # 在页面上设置订单的时间范围,并筛选出该时间范围内的所有订单
2 # 调用该方法时,参数需从self.dateList中获取,dateList中的每一个tuple对应一组参数
3 def selectDate(self, startDate, endDate):
4 # 设置起始日期
5 s = self.driver.find_element_by_id('J-start')
6 s.clear()
7 s.send_keys(startDate)
8
9 # 设置终止日期
10 e = self.driver.find_element_by_id('J-end')
11 e.clear()
12 e.send_keys(endDate)
13 return
这里说一下第4步中的切换frame,我们先将切换frame这一句注释掉,然后来测试下选择日期:
1 order.login()
2 order.switchToHistoryOrder()
3 order.selectDate('2016-07-01', '2016-07-02')
4 # 输出
5 selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"id","selector":"J-start"}
可以看到出错了,提示没有需要定位的元素,为什么呢?通过HTML代码可以看到,这里采用了框架frame,所定位的元素在frame里面,如下所示:
因此需要先切换到该frame里面,然后才能定位到frame里面的元素;由于后续所有的订单操作都在该frame里面,因此在上一步切换到历史订单页面后,先切换到该frame,便于后续操作。
6、将订单信息存入self.orderDict
该方法是下一步需要调用的,因此这里先实现。每一个订单我们只需3个信息:姓名、电话、地址,然后将这三个元素表示的订单存入orderDict,但是由于我们要统计出点餐次数多的10个顾客,
因此还要保存每个顾客的点餐次数。这里dict的元素格式为{'tel': ['name', 'address', cnt]},由于姓名可能重复,因此采用了电话作为key值。如果某个顾客第一次点餐,保存时将点餐次数cnt初始化为1;
如果不是第一次点餐,则将该顾客对应的cnt值加1。
1 # 将tel, name, address表示的订单信息存入self.orderDict
2 # self.orderDict元素的形式为 {'tel': ['name', 'address', cnt]}
3 # 以电话号码为key,以姓名、地址、点餐次数组成的list为value
4 # 当要添加的key不存在时,将此订单加入orderDict,并且cnt初始化为1
5 # 当要添加的key已经存在时,直接将该key对应的cnt加1
6 def saveOrderIntoDict(self, tel, name, address):
7 if self.orderDict.has_key(tel):
8 self.orderDict[tel][2] += 1
9 else:
10 self.orderDict[tel] = [name, address, 1]
11 return