中国社交网络的信息爬取与大数据挖掘

技术细节

人人网模拟登陆方法的实现

由于人人网许多页面(比如用户新鲜事与用户档案等)都需要登录后才能查看，所以需要使用JAVA程序发送http请求模拟登陆人人网获取cookie后再爬取所需信息。

程序主要类与方法介绍

Renren Analyze package        爬取与分析人人网数据

CrawlSearchedStatus.java        爬取状态关键字搜索出来的用户的资料并访问其个人主页获取就读信息与居住地信息

RenrenSpider.java        人人httpclient爬虫：模拟登陆，爬取页面的源代码数据

dbhelper.java        操作MySQL数据库的相关处理，连接查插改删等方法

RenrenStats.java        数据分析与挖掘等统计操作-Statistic methods to analyze data

SwingGUI package        为程序添加GUI交互界面

爬虫初始化

爬虫变量设置

  /**txt file path of Renren account username and password to log-in*/
  String accountsFilePath = "D:/Renren/account.txt";
  /**the start page number of crawling target */
  int offset = 9420; 
  /**keyword of timeline statuses to crawl in English*/
  String tableName = "party";
  /**keyword of timeline statuses to crawl in Chinese*/
  String keyword = "聚会"; 
  /**the start proxy host to use*/
  int proxyIndex=9; 
  /**if need proxy host to crawl at beginning*/
  boolean needProxy = false;
  /**pause time (in seconds) after every crawl*/
  double sleepSec = 0.5;
      

反爬应对机制

由于爬虫频繁请求网站资源，各个网站都会有一些对付爬虫的反爬机制，所以要使自己的爬虫突破封锁，保证长时间顺畅运行则必须要有完善的反爬应对机制。

在两次爬取间加入一定时间间隔       

过于频繁的Http请求可能会遭到封锁IP地址。因此要保证两次爬取间的时间间隔不小于一定值，不然可能会被识别出来为爬虫。使用Thread.sleep()在程序间加入时间间隔。

更换IP地址与登陆账号访问资源       

在一定次数的爬取后，使用代理服务器更换IP地址以及更换账号登陆人人网继续爬取资源，降低被检测出来的风险。

伪装成浏览器       

为了使爬虫不被识别出来，首先要做的就是模仿浏览器的浏览，不被检测出来是JAVA程序发出的Http请求。因此，设置Http请求的参数、消息头，使Http请求看起来更像是浏览器发出的。比如，设置Http POST方法的请求头user agent参数为火狐浏览器。