网络爬虫实验

《网络爬虫实验》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、湖北文理学院《网络数据挖掘项目解决方案》实验报告专业班级：软件工程1111班姓名：韩江玲学号：2011193158任课教师：吴中博2014年9月20日9实验5网络数据挖掘解决方案（X学时）一、实验目的与要求1、掌握小型项目的架构与设计；2、能够独自实现小型项目的开发；3、通过实现网络数据挖掘项目，锻炼综合应用能力。二、预习与准备1、Swing编程；2、正则表达式的使用；3、网络数据的提取；4、分层架构。三、实验内容1、实现网络数据挖掘项目；2、撰写实验报告。四、实验过程1.首先明确项目解决思路：首先建立数据库à用swing编写用户界面à从数据库获取StockIdà通过Stoc

2、kId获取URà利用URL可以得到URL里面的内容à对该内容进行解析，获取需要的数据à存入数据库。2.了解该项目的系统架构：显示层:构建用户界面，提供用户中介业务逻辑层:1)获取StockId；2)通过StockId获取URL；3)通过URL提取网页内容；4)解析网页内容获取需要的数据；5)存入相应的数据库。数据访问层:实现对于数据库的访问，连接，增加，修改，删除，查询。3、开始项目（1）建数据库9（2）建立数据库的连接并定义增删改查操作接口publicclassConn{privatestaticStringdriver="com.mysql.jdbc.Driver";pr

3、ivatestaticStringurl="jdbc:mysql://127.0.0.1:3306/st?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull";privatestaticStringuser="root";privatestaticStringpassword="root";publicstaticConnectiongetConn(){Connectionconn=null;try{Class.forName(driver);conn=DriverManager.

4、getConnection(url,user,password);}catch(Exceptione){e.printStackTrace();}returnconn;}//获得数据库的连接publicstaticConnectiongetConnection(StringclassName,Stringurl,Stringuser,Stringpassword){Connectionconnection=null;try{Class.forName(className);connection=DriverManager.getConnection(url,user,pass

5、word);}catch(Exceptione){e.printStackTrace();}returnconnection;}publicstaticvoidmain(String[]args){inti=updateStockName("华夏","0600031");}//更新股票名称publicstaticintupdateStockName(StringstockName,StringstockId){Connectionconnection=getConnection(driver,url,user,password);intresult=0;try{Stateme

6、ntstatement=connection.createStatement();result=statement.executeUpdate("updatestockbasesetstockname=9'"+stockName+"'wherestockid='"+stockId+"'");returnresult;}catch(Exceptione){//TODOAuto-generatedcatchblockresult=0;}returnresult;}//获得股票的idpublicstaticListgetStockIds(){Listlist=null;Connec

7、tionconnection=getConnection(driver,url,user,password);try{Statementstatement=connection.createStatement();ResultSetresultSet=statement.executeQuery("selectstockidfromstockbase");list=newArrayList();while(resultSet.next()){list.add(resultSet.getString(1)