修　士　論　文

Size: px

Start display at page:

Download "修　士　論　文"

ちかこいしなみ
5 years ago
Views:

2 Web Web Web PC PC OS HORB HORB HORB CORBA RMI HORB TIPS i

3 Java Java TIPS PostgreSQL JDBC JDBC TIPS Web Slave PC ii

4 Web CSS iii

5 1.1 WWW WWW WWW WWW Web Inktomi NEC Research Institute [1] WWW HTML WWW [2] WWW HTML Web 1

6 WWW Google Page Rank[3] Lycos WiseNut[4] Page Rank WiseNut WWW Yahoo! Excite BIGLOBE Google Web WWW WWW URL http 1 WWW Google Web WWW WWW Google WiseNut WWW PC IT 2

7 WWW Web 1.2 WWW WWW 1.3 WWW 3

8 Web PC HORB Java 2.1 Web PC WWW URL Web Web HTML 4

9 1 PC PC Web PC PC Web PC PC 1 PC Master Slave Web PC Slave PC Slave PC PC Master PC WWW DB DB DB DB Slave PC URL DB DB DB DB DB SQL PC PC 5

10 HTML DB SQL 2.2 PC Slave PC 10 Master PC 1 DB 1 PC OS PC 2.1 MasterPC M DB DB HDD G マシン名 HITACHI FLORA370 CPU Pentium2-400MHz メモリ 128M LAN 10BASE-T HDD 6G 2.1 PC 6

11 PC OS VineLinux2.1.5 VineLinux Version2.1.5 apt PC apt PC 2.1 PC 7

12 2.3 [5] [5][8] Proxy Proxy Proxy Skeleton Interface Definition Language IDL 8

13 HORB HORB Java HORB [6] HORB 2 HORB Java Sun Java Java Java IDL HORB HORBC HORB Object Request Broker HORB [6] HORBC Java HORB Sun Javac Java Java Sun HORB HORB Sun HORB [6] 9

14 HORB Proxy Skeleton ORB Proxy Skeleton HORBC ORB HORB HORB 10

15 HORB HORB [7] RMI HORB RMI 2 RMI CORBA HORB Java IDL CORBA HORB CORBA IIOP 2.2 RMI CORBA HORB 2 IDL CORBA IIOP 2.2 HORB RMI CORBA 11

16 HORB [9][10][11][12] Server String Server. Java public class Server{ public String message(string name){ return Hello, +name+! ; } } Client. Java class Client{ public static void main(string args[]){ String host = *** ; Server_Proxy server = new Server_Proxy( horb:// +host+ / ; String result = server.message( World ); System.out.println(result); } } Client.java ServerNAME_Proxy Proxy Client.java 5 12

17 Client.java 4 Proxy 2.3 Proxy 13

18 Client.java 5 message

19 Client.class Server_Proxy.class Server_Skelton.class Server.class 2.3 DNS Client.java *** 15

20 Java HORB Oneway Oneway OneWay Client _OneWay() Server _OneWay() Async Async Async Proxy Request Receieve ResultAsync Future ResultAync _Receive Async isavailable isavailable true Async Web [5] Web Web 16

21 a

22 b a isavailable()

23 c sethandler() _Request() HORB run() run() sethandler run() synchronized

24 2.4 HTML Perl Java C# C# Java RMI HORB CORBA Java Java Sun Microsystems JDK 1.3.1_ JDK Java TIPS Java Java Java Java HTML HTML W3C HTML Web Web 20

25 HTML HTML Web Java Version1.2.2 HTML JDK Version1.3 HTML Java javax.swing.text.html.parser HTML Document HTMLEditorkit HTML C C++ Java URL Java 21

26 Web PC CORBA CORBA IDL Java RMI Remote Method Invocation HORB Java DB Web DB URL DB DB Java Java DB JDBC SQL API Java DB C Java 22

27 Java HTML [13] Java HTML Tag HTML.Tag HTML HTML.Tag HTML URL HTML.Tag HTML.Tag.A HTML.Tag.FRAME HTML.Tag.A HTML <a> HTML.Tag.FRAME <frame> FRAME Web HTML HTML Document <a> <frame> <a> <frame> <href> <src> HTML

28 2.8 HTML HttpURLConnection URLConnection[13] java.net.urlconnection URL URLConnetion Server URL Java Web URLConnection HTTP MIME 24

29 FTP SMTP MIME httpurl URLConnection HttpURLConnection HttpURLConnection URL HttpURLConnection URL HTTP URL openconnection URLConnection URLConnection HttpURLConnection HttpURLConnection getresponsecode() HTTP URL url = new URL( ); URLConnection uc = url.openconnection(); HttpURLConnection hc = (HttpURLConnection)uc; int code = hc.getresonsecode(); Hashtable Vector [14] Vector Vector Hashtable Hashtable Hashtable 25

30 [15] 26

31 2.5 DB MySQL PostgreSQL Postgres DB Java DB MySQL DB Postgres7.1.3 VineLinux2.1.5 Postgres Postgres DB JDBC JDBC TIPS Postgres DB Postgres DB SQL92 SQL92 Postgres UNIX Linux Java C Perl JDBC RDB Java API Data Base Management System DBMS Java Java Soft Java RMI Java IDL Java Enterprise API JDK 1.1 API 27

32 JDBC API DBMS DBMS SQL JDBC RDB Java DBMS Java JDBC API JDBC API JDBC JDBC API JDBC API DB DB JDBC DB DB JDBC JDBC DB JDBC ODBC Postgres JDBC Java ODBC DB JDBC ODBC Java 28

33 DB JDBC [16][17][18][19] LIKE LIKE URL URL LIKE LIKE Postgres UNIX LIKE SQL abc SQL SELECT * FROM tablename WHERE text LIKE abc% ; executequery, executeupdate Java SQL SELECT executequery SELECT DB ResultSet ResultSet rs = stmt.executequery(query); stmt Statement query DB String 29

34 SELECT executeupdate stmt.executeupdate(query); DB SQL92 Postgres Postgres BEGIN; END; 30

35 Postgres a b Non-repeatable Read SET TRANSACTION ISOLATION LEVEL SERIALIZABLE; c Postgres DB Postgres LOCK LOCK 31

36 LOCK LOCK LOCK TABLE tablename IN lockmode; lockmode 1 SHARE ROW EXCLUSIVE MODE JDBC Java Postgres Java JDBC CLASSPATH DB Postgres NULL SQL CREATE TABEL tablename (i INTEGER PRIMARY KEY); 32

37 Web

38 HORB Mater-Slave HORB Master Slave Master Slave Master URL Slave URL Web Master Slave URL URL

39 URL DB URL URL URL URL URL DB URL Slave Master Slave Web URL Slave URL Web Web Slave URL Web URL Slave URL Master Master Slave URL URL URL DB Master Slave DB URL Slave URL URL 35

40 3.2 Slave URL http URL https ftp URL httpurl http https URL Slave Master URL Master Master VM URL DB Java Yahoo goo Yahoo! URL 36

41 URL Web URL DB Web URL URL URL URL 37

Maser Main Slave run Slave URL Web Web 3.1 3.

42 Maser Main Slave run Slave URL Web Web Master Main DB URL Slave Slave Master run Slave URL Slave Master Main URL URL Web 38

43 URL HTML Web HTTP DB DB URL Slave PC URL 100 URL No URL Integer Text 3.2 URL Yahoo! URL URL Text

44 URL Slave PC Web URL URL URL No URL Integer Text 3.4 URL URL Web URL No No URL Web URL No URL Integer Text 3.5 URL No URL 40

45 Web 3.1 WWW HTML 3.1 Master-Slave 41

46 Master Slave Master Slave URL Slave PC Slave PC Web Slave PC URL URL Web Web Slave PC

47 4.1 URL TOP Web Web JP Slave PC URL Slave PC STOPLIST URL URL URL URL

48 URL 60 URL STOPLIST URL URL 3 URL URL Web URL URL Slave PC Slave PC2 URL URL Slave PC Slave PC5 URL URL Slave PC Slave PC URL 44

49 URL Slave PC URL Slave PC Slave PC URL Slave PC Slave PC URL Slave PC 45

50 Web URL 4.8 解析ページ数獲得リンク数ストップリスト数平均標準偏差範囲最小最大合計標本数 URL FileNotFound Web 46

51 URL Y 獲得 U R L 数解析ページ数 X 4.1 Web R 0.91 Web Y 12 Rx 47

52 Web URL 500 ストップリスト数解析 Web ページ数 4.2 Web R=0.86 Web Y Rx 48

53 Web Slave PC Web 解析ペー4000 ジ数 (634) 6341 (357) (730) (264) (374) (779) (278) (477) (261) 分 60 分 90 分時間量 2 台 5 台 10 台 ( ) 内は1 台あたりの解析ページ数 4.3 Web Slave PC Slave PC Web Web 2 49

54 Slave PC (7618) 獲得リンク数 (2824) (3526) (2979) 5957 (4407) (3939) (4758) 9515 (8309) (7161) 分 60 分 90 分時間量 2 台 5 台 10 台 ( ) 内は1 台あたり 4.4 Slave PC Slave PC

55 URL 4.5 ストップリスト数 (11) (21) (8) 83 (30) 60 (15) 76 (14) 140 (59) 118 (29) 146 (18) 分 60 分 90 分時間量 2 台 5 台 10 台 ( ) 内は1 台あたり 4.5 URL Slave PC

56 1 Web 解析ページ数分 60 分 90 分時間量 2 台 5 台 10 台 Web 30 分 60 分 90 分 2 台台台 Web Slave PC2 Slave PC

57 1 Web Slave PC 台解析ページ数台 5 台分 60 分 90 分時間量 Web 30 分 60 分 90 分 2 台台台 Web

58 URL Slave PC URL Web 8000 解析 6000 W e b 4000 ページ 2000 数初期 URL 数 2 台 5 台 10 台 4.8 URL Web 台台台 URL Web URL Web 54

59 1 Web 解析 W e b ページ数初期 URL 数 2 台 5 台 10 台 4.9 URL 1 Web 台台台 URL 1 Web URL Web 55

60 Web 解析ページ数深さ 2 台 5 台 10 台 4.10 Web 台台台 Web Slave PC2 Slave PC5 Web 10 Web 56

61 Web 解析ページ数深さ 2 台 5 台 10 台 Web 台台台 Web 1 Slave PC2 Web Slave PC5 Web

62 5.1 4 Slave PC Web 1 Slave PC URL URL Slave PC 1 Web Slave PC2 Web Slave PC Web Web1 Web 58

63 1 Web 1 1 Master Slave 1 TOP 2 URL Slave URL Web URL URL URL URL Slave 59

64 Slave PC Thread#interrupt 60

65 http daemon Java OS Java Socket#setSoTimeout Timeout URLConnection Socket#setSoTimeout Thread Thread JavaVM DB 1 Slave PC10 DB URL 1 61

66 HTML CSS HTML Web CSS 5.3 IT Master N Slave Web Ants[21] 1Master Slave 4 Web [20] DB 62

67 63

68 [1] Inktomi WebMap [2] WWW SSE pp [3] Junghoo Cho Hector Garcia-Molina Lawrence Page Efficient crawling through URL ordering Proc.of 8 th World Wide Web Conf [4] WiseNut Search Engine White Paper [5] Java [6] HORB Flyer s HORB ver2.0 [7] HORB Open HORB [8] [9] Java Socket & HORB [10] HORB [11] HORB

69 [12] HORB bit Java p [13] Elliotte Rusty Harold Java p [14] Mark C. Chan Steven W. Griffith Java 1001Tips p [15] Scott Oaks Henry Wong JAVA 1997 [16] PC UNIX PostgreSQL 2001 [17] WEB+DB PRESS Vol.2 p [18] WEB+DB PRESS Vol.5 p [19] SQL 2001 [20] Internet 1999 [21] WebAnts 65

70 [1] ORB Web

tkk0408nari

tkk0408nari SQLStatement Class Sql Database SQL Structured Query Language( ) ISO JIS http://www.techscore.com/tech/sql/02_02.html Database sql Perl Java SQL ( ) create table tu_data ( id integer not null, -- id aid

修 士 論 文

修　士　論　文