爬取百度网盘用户分享

admin

最近在找工作,有点无聊,没事搞,研究了下爬百度网盘的用户分享

• 获取用户订阅:
  http://yun.baidu.com/pcloud/friend/getfollowlist?query_uk=%s&limit=24&start=%s&bdstoken=e6f1efec456b92778e70c55ba5d81c3d&channel=chunlei&clienttype=0&web=1&logid=MTQ3NDA3NDg5NzU4NDAuMzQxNDQyMDY2MjA5NDA4NjU=
  (query_uk limit start是必须参数)
• 获取用户粉丝:
  http://pan.baidu.com/pcloud/friend/getfanslist?query_uk=%s&limit=24&start=%s&bdstoken=null&channel=chunlei&clienttype=0&web=1&logid=MTQ3NDAzNjQwNzg3OTAuNzM1MzMxMDUyMDczMjYxNA==
  (query_uk limit start是必须参数)
• 获取用户分享:
  http://pan.baidu.com/pcloud/feed/getsharelist?t=1474202771918&category=0&auth_type=1&request_location=share_home&start=0&limit=60&query_uk=224534490&channel=chunlei&clienttype=0&web=1&logid=MTQ3NDIwMjc3MTkxOTAuMzA1NjAzMzQ4MTM1MDc0MTc=&bdstoken=e6f1efec456b92778e70c55ba5d81c3d
  (query_uk limit start auth_type是必须参数)
  

上面3个连接请求必须带上 ("Referer", "https://yun.baidu.com/share/home?uk=23432432#category/type=0"),uk多少无所谓,否则请求不到json数据,
获取用户订阅和获取用户粉丝每次请求一次休眠2s的话可以无限制请求,对ip没要求,获取用户分享超坑,一个ip只能请求10次,并且休眠也没用.
因为没有那么多ip,我就去研究手机版的用户分享,手机版获取用户分享可以一次性连续请求60次,60次后必须休眠35s左右在继续请求就可以,不会像pc版那样必须换ip,
但是手机版只能请求网页源码,然后用正则进行匹配.

• 手机版分享:
  http://pan.baidu.com/wap/share/home?uk=2889076181&start=%s&adapt=pc&fr=ftw (uk:每个百度网盘用户的唯一标示,start:用户可能有上百上千个分享,必须分页,start默认从0开始,手机版默认分页是20个每页)
  

下面上源码:

1. private Logger log = LoggerFactory.getLogger(FollowStartIndex.class);
   
2. public void startIndex() {
   
3.         //无限循环
   
4.         while (true) {
   
5.             //从数据库获取可用uk,可用首先从某个粉丝超多的用户入手,获取他粉丝的uk,存入数据库
   
6.             Avaiuk avaiuk = Avaiuk.dao.findFirst("select * from avaiuk where flag=0  limit 1");
   
7.             //更新数据库,标记该uk已经被用户爬过
   
8.             avaiuk.set("flag", 1).update();
   
9.             getFllow(avaiuk.getLong("uk"), 0);
   
10.         }
    
11.     }
    
12. 
    
13.     static String url = "http://yun.baidu.com/pcloud/friend/getfollowlist?query_uk=%s&limit=24&start=%s&bdstoken=e6f1efec456b92778e70c55ba5d81c3d&channel=chunlei&clienttype=0&web=1&logid=MTQ3NDA3NDg5NzU4NDAuMzQxNDQyMDY2MjA5NDA4NjU=";
    
14.     static Map map = new HashMap();
    
15. 
    
16.     static {
    
17.         map.put("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36");
    
18.         map.put("X-Requested-With", "XMLHttpRequest");
    
19.         map.put("Accept", "application/json, text/javascript, */*; q=0.01");
    
20.         map.put("Referer", "https://yun.baidu.com/share/home?uk=325913312#category/type=0");
    
21.         map.put("Accept-Language", "zh-CN");
    
22.     }
    
23. 
    
24.     //获取订阅用户
    
25.    public void getFllow(long uk, int start, boolean index) {
    
26.            log.info("进来getFllow,uk:{},start:{}", uk, start);
    
27.            boolean exitUK = false;
    
28.            try {
    
29.                exitUK = Redis.use().exists(uk);
    
30.            } catch (Exception e) {
    
31.                exitUK = true;
    
32.            }
    
33.            if (!exitUK) {
    
34.                Redis.use().set(uk, "");
    
35.                if (index) {
    
36.                    indexResource(uk);
    
37.                }
    
38.                recFollow(uk,start,true);
    
39.            } else {
    
40.                if (start > 0) {//分页订阅
    
41.                    recFollow(uk,start,false);
    
42.                } else {
    
43.                    log.warn("uk is index:{}", uk);
    
44.                }
    
45.            }
    
46.    
    
47.    
    
48.        }
    
49.     public void recFollow(long uk,int start,boolean goPage){
    
50.            try {
    
51.                Thread.sleep(4000);
    
52.            } catch (InterruptedException e) {
    
53.                e.printStackTrace();
    
54.            }
    
55.            String real_url = String.format(url, uk, start);
    
56.            ResponseBody body = OkhttpUtil.syncGet(real_url, Headers.of(map));
    
57.            if (body != null) {
    
58.                try {
    
59.                    Follow follow = JSON.parseObject(body.string(), Follow.class);
    
60.    
    
61.                    if (follow.getErrno() == 0) {
    
62.                        List<Follow.FollowListBean> followListBeen = follow.getFollow_list();
    
63.                        if (followListBeen != null && followListBeen.size() > 0) {
    
64.                            log.info("不为空:{}", follow);
    
65.                            for (Follow.FollowListBean bean : followListBeen) {
    
66.                                int follow_count = bean.getFollow_count();
    
67.                                int shareCount=bean.getPubshare_count();
    
68.                                if (follow_count > 0) {
    
69.                                    if (shareCount > 0) {
    
70.                                        getFllow(bean.getFollow_uk(), 0, true);
    
71.                                    } else {
    
72.                                        getFllow(bean.getFollow_uk(), 0, false);
    
73.                                    }
    
74.                                }
    
75.                            }
    
76.                            if(goPage){
    
77.                                int total_count = follow.getTotal_count();
    
78.                                //log.warn("分页页数：{}",total_count);
    
79.                                //分页
    
80.                                int total_page = (total_count - 1) / 24 + 1;
    
81.    
    
82.                                for (int i = 1; i < total_page; i++) {
    
83.                                    getFllow(uk, i * 24,false);
    
84.                                }
    
85.    
    
86.                            }
    
87.                        } else {
    
88.                            log.info("为空:{}", follow);
    
89.                        }
    
90.                    }
    
91.    
    
92.                } catch (IOException e) {
    
93.                    e.printStackTrace();
    
94.                }
    
95.            }
    
96.        }
    
97. 
    
98.     long uinfoId = 0;
    
99.     long nullStart = System.currentTimeMillis();
    
100. 
     
101.     public void indexResource(long uk) {
     
102.         while (true) {
     
103.             String url = "http://pan.baidu.com/wap/share/home?uk=%s&start=%s&adapt=pc&fr=ftw";
     
104.             String real_url = String.format(url, uk, 0);
     
105. 
     
106.             YunData yunData = DataUtil.getData(real_url);
     
107. 
     
108.             if (yunData != null) {
     
109.                 log.info("{}", yunData.toString());
     
110.                 int share_count = yunData.getUinfo().getPubshare_count();
     
111.                 if (share_count > 0) {
     
112.                     Uinfo uinfo = new Uinfo();
     
113.                     uinfo.set("uname", yunData.getUinfo().getUname()).set("avatar_url", yunData.getUinfo().getAvatar_url()).set("uk", uk).set("incache", 1).save();
     
114.                     uinfoId = uinfo.getLong("id");
     
115.                     List<Records> recordses = yunData.getFeedata().getRecords();
     
116.                     for (Records record : recordses) {
     
117.                         new ShareData().set("title", record.getTitle()).set("shareid", record.getShareid()).set("uinfo_id", uinfoId).save();
     
118.                     }
     
119. 
     
120.                 }
     
121.                 int totalPage = (share_count - 1) / 20 + 1;
     
122. 
     
123.                 int start = 0;
     
124.                 if (totalPage > 1) {
     
125.                     for (int i = 1; i < totalPage; i++) {
     
126.                         start = i * 20;
     
127.                         real_url = String.format(url, uk, start);
     
128.                         yunData = DataUtil.getData(real_url);
     
129.                         if (yunData != null) {
     
130.                             log.info("{}", yunData.toString());
     
131.                             List<Records> recordses = yunData.getFeedata().getRecords();
     
132.                             for (Records record : recordses) {
     
133.                                 //用户分享的数据存入数据库
     
134.                                 new ShareData().set("title", record.getTitle()).set("shareid", record.getShareid()).set("uinfo_id", uinfoId).save();
     
135.                             }
     
136.                         } else {
     
137.                             i--;
     
138.                             log.warn("uk:{},msg:{}", uk, yunData);
     
139.                             long temp = nullStart;
     
140.                             nullStart = System.currentTimeMillis();
     
141.                             if ((nullStart - temp) < 1500) {
     
142.                                 try {
     
143.                                     Thread.sleep(60000);
     
144.                                 } catch (InterruptedException e) {
     
145.                                     e.printStackTrace();
     
146.                                 }
     
147.                             }
     
148. 
     
149.                         }
     
150. 
     
151.                     }
     
152. 
     
153.                 }
     
154.                 break;
     
155.             } else {
     
156.                 log.warn("uk:{},msg:{}", uk, yunData);
     
157.                 long temp = nullStart;
     
158.                 nullStart = System.currentTimeMillis();
     
159.                 //在1500毫秒内2次请求到的数据都为null时,此时可能被百度限制了,休眠一段时间就可以恢复
     
160.                 if ((nullStart - temp) < 1500) {
     
161.                     try {
     
162.                         Thread.sleep(60000);
     
163.                     } catch (InterruptedException e) {
     
164.                         e.printStackTrace();
     
165.                     }
     
166.                 }
     
167.             }
     
168.         }
     
169. 
     
170. 
     
171.     }

复制代码

1. public class DataUtil {
   
2.     public static YunData getData(String url) {
   
3.         //自己对okhttp的封装
   
4.         ResponseBody body = OkhttpUtil.syncGet(url);
   
5.         String html = null;
   
6.         if (body == null) {
   
7.             return null;
   
8.         }
   
9.         try {
   
10.             html = body.string();
    
11.         } catch (IOException e) {
    
12.             return null;
    
13.         }
    
14.         Pattern pattern = Pattern.compile("window.yunData = (.*})");
    
15.         Matcher matcher = pattern.matcher(html);
    
16.         String json = null;
    
17.         while (matcher.find()) {
    
18.             json = matcher.group(1);
    
19.         }
    
20.         if (json == null) {
    
21.             return null;
    
22.         }
    
23.         //fastjson
    
24.         YunData yunData = JSON.parseObject(json, YunData.class);
    
25.         return yunData;
    
26.     }
    
27. }

复制代码

YunData自己获取下json数据,就能创建出来,代码就不放了.

这么爬取速度很快,3台服务器一天就爬取了100多万.

原文地址：

http://zhangguodong.me/2016/09/18/%E7%88%AC%E5%8F%96%E7%99%BE%E5%BA%A6%E7%BD%91%E7%9B%98%E7%94%A8%E6%88%B7%E5%88%86%E4%BA%AB/

https://github.com/gudegg/yunSpider