爬蟲程序員如何製作愛國視頻

① Python爬蟲是什麼

為自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁。

網路爬蟲為一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。

將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索。

(1)爬蟲程序員如何製作愛國視頻擴展閱讀：

網路爬蟲的相關要求規定：

1、由Python標准庫提供了系統管理、網路通信、文本處理、資料庫介面、圖形系統、XML處理等額外的功能。

2、按照網頁內容目錄層次深淺來爬行頁面，處於較淺目錄層次的頁面首先被爬行。 當同一層次中的頁面爬行完畢後，爬蟲再深入下一層繼續爬行。

3、文本處理，包含文本格式化、正則表達式匹配、文本差異計算與合並、Unicode支持，二進制數據處理等功能。

② 學python爬蟲，已有基礎入門知識，是自己從零學怎麼編寫爬蟲好還是直接學怎麼用框架實現功能好

直接框架。爬蟲基本內容邏輯不復雜。
框架解決非主要邏輯問題，你把焦點放在業務主要邏輯上。
自己寫，各種異常請求，多線程，斷點，連續訪問，代理等等，非常耗時間。

③ 如何用Python做爬蟲

1）首先你要明白爬蟲怎樣工作。

想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。

在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。

突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。

好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。

那麼在python里怎麼實現呢？
很簡單

import Queue

initial_page = "初始化頁"

url_queue = Queue.Queue()
seen = set()

seen.insert(initial_page)
url_queue.put(initial_page)

while(True): #一直進行直到海枯石爛
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中第一個的url
store(current_url) #把這個url代表的網頁存儲好
for next_url in extract_urls(current_url): #提取把這個url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break

寫得已經很偽代碼了。

所有的爬蟲的backbone都在這里，下面分析一下為什麼爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。

2）效率
如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。

問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。

通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這里的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example

注意到這個特點，url如果被看過，那麼可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]

好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。

3）集群化抓取
爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了...

那麼，假設你現在有100台機器可以用，怎麼用python實現一個分布式的爬取演算法呢？

我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)

考慮如何用python實現：
在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。

代碼於是寫成

#slave.py

current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)

store(current_url);
send_to_master(to_send)

#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()

initial_pages = "www.renmingribao.com"

while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)

好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及後處理
雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。

但是如果附加上你需要這些後續處理，比如

有效地存儲（資料庫應該怎樣安排）

有效地判重（這里指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）

有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛...

及時更新（預測這個網頁多久會更新一次）

如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，
「路漫漫其修遠兮,吾將上下而求索」。

所以，不要問怎麼入門，直接上路就好了：）

④ 做一個程序員要具備什麼

1：團隊精神和協作能力 ，和基本的操作常識，缺乏這種素質的人就完全不合格了。
2.要有做文檔的習慣，缺乏文檔，一個軟體系統就缺乏生命力，在未來的查錯，升級以及模塊的復用時就都會遇 到極大的麻煩。
3：規范化，標准化的代碼編寫習慣 。
4.代碼具有良好的可讀性，是程序員基本的素質需求。
5.程序員需要理解一個模塊的需求，把性能指標全部歸結到硬體，操作系統和開發環境上。
6.復用性，模塊化思維能力 ，避免大部分重復性工作無謂的浪費了時間和精力。
7. 測試習慣 ，作為一些商業化正規化的開發而言，專職的測試工程師是不可少的
8..程序員是人才很容易被淘汰，很容易落伍的職業，必須不斷跟進新的技術，學習新的技能。
計算機語言的種類非常的多，總的來說可以分成機器語言，匯編語言，高級語言三大類。

電腦每做的一次動作，一個步驟，都是按照以經用計算機語言編好的程序來執行的，程序是計算機要執行的指令的集合，而程序全部都是用我們所掌握的語言來編寫的。所以人們要控制計算機一定要通過計算機語言向計算機發出命令。

計算機所能識別的語言只有機器語言，即由0和1構成的代碼。但通常人們編程時，不採用機器語言，因為它非常難於記憶和識別。

目前通用的編程語言有兩種形式：匯編語言和高級語言。

匯編語言的實質和機器語言是相同的，都是直接對硬體操作，只不過指令採用了英文縮寫的標識符，更容易識別和記憶。它同樣需要編程者將每一步具體的操作用命令的形式寫出來。匯編程序通常由三部分組成：指令、偽指令和宏指令。匯編程序的每一句指令只能對應實際操作過程中的一個很細微的動作，例如移動、自增，因此匯編源程序一般比較冗長、復雜、容易出錯，而且使用匯編語言編程需要有更多的計算機專業知識，但匯編語言的優點也是顯而易見的，用匯編語言所能完成的操作不是一般高級語言所能實現的，而且源程序經匯編生成的可執行文件不僅比較小，而且執行速度很快。

高級語言是目前絕大多數編程者的選擇。和匯編語言相比，它不但將許多相關的機器指令合成為單條指令，並且去掉了與具體操作有關但與完成工作無關的細節，例如使用堆棧、寄存器等，這樣就大大簡化了程序中的指令。同時，由於省略了很多細節，編程者也就不需要有太多的專業知識。

高級語言主要是相對於匯編語言而言，它並不是特指某一種具體的語言，而是包括了很多編程語言，如目前流行的VB、VC、FoxPro、Delphi等，這些語言的語法、命令格式都各不相同。

高級語言所編制的程序不能直接被計算機識別，必須經過轉換才能被執行，按轉換方式可將它們分為兩類:

解釋類：執行方式類似於我們日常生活中的「同聲翻譯」，應用程序源代碼一邊由相應語言的解釋器「翻譯」成目標代碼(機器語言)，一邊執行，因此效率比較低，而且不能生成可獨立執行的可執行文件，應用程序不能脫離其解釋器，但這種方式比較靈活，可以動態地調整、修改應用程序。

編譯類：編譯是指在應用源程序執行之前，就將程序源代碼「翻譯」成目標代碼(機器語言)，因此其目標程序可以脫離其語言環境獨立執行，使用比較方便、效率較高。但應用程序一旦需要修改，必須先修改源代碼，再重新編譯生成新的目標文件(＊ .OBJ)才能執行，只有目標文件而沒有源代碼，修改很不方便。現在大多數的編程語言都是編譯型的，例如Visual C＋＋、Visual Foxpro、Delphi等。

[NextPage]

學習編程，從何入手

如果您想學習編程，卻又不知從何入手，那麼您不妨看看下面的幾種學習方案，可能會給您一些啟示吧！
==============================================
方案一 Basic語言 & Visual Basic

優點
（1）Basic 簡單易學，很容易上手。
（2）Visual Basic 提供了強大的可視化編程能力，可以讓你輕松地做出漂亮的程序。
（3）眾多的控制項讓編程變得象壘積木一樣簡單。
（4）Visual Basic 的全部漢化讓我們這些見了English就頭大的人喜不自禁。

缺點
（1）Visual Basic 不是真正的面向對象的開發文具。
（2）Visual Basic 的數據類型太少，而且不支持指針，這使得它的表達能力很有限。
（3）Visual Basic 不是真正的編譯型語言，它產生的最終代碼不是可執行的，是一種偽代碼。它需要一個動態鏈接庫去解釋執行，這使得Visual Basic 的編譯速度大大變慢。

綜述：方案一適合初涉編程的朋友，它對學習者的要求不高，幾乎每個人都可以在一個比較短的時間里學會vB編程，並用VB 做出自己的作品。對於那些把編程當做游戲的朋友來說，VB 是您最佳的選擇。

Basic/Visual Basic簡介
==============================================
方案二 Pascal語言 & Delphi

優點
（1）Pascal語言結構嚴謹，可以很好地培養一個人的編程思想。
（2）Delphi是一門真正的面向對象的開發工具，並且是完全的可視化。
（3）Delphi使用了真編譯，可以讓你的代碼編譯成為可執行的文件，而且編譯速度非常快。
（4）Delphi具有強大的資料庫開發能力，可以讓你輕松地開發資料庫。

缺點
Delphi幾乎可以說是完美的，只是Pascal語言的過於嚴謹讓人感覺有點煩。

綜述: 方案二比較適合那些具有一定編程基礎並且學過Pascal語言的朋友。

Pascal語言簡介
Delphi簡介
==============================================
方案三 C語言 & Visual C++

優點
（1）C語言靈活性好，效率高，可以接觸到軟體開發比較底層的東西。
（2）微軟的MFC庫博大精深，學會它可以讓隨心所欲地進行編程。
（3）VC是微軟製作的產品，與操作系統的結合更加緊密。

缺點
對使用者的要求比較高，既要具備豐富的C語言編程經驗，又要具有一定的WINDOWS編程基礎，它的過於專業使得一般的編程愛好者學習起來會有不小的困難。

綜述: VC是程序員用的東西。如果你是一個永不滿足的人，而且可以在編程上投入很大的精力和時間，那麼學習VC你一定不會後悔的。

C語言簡介
==============================================
方案四 C++語言 & C++ Builder

優點
（1）C++語言的優點全部得以繼承。
（2）完全的可是化。
（3）極強的兼容性，支持OWL、VCL和MFC三大類庫。
（4）編譯速度非常快。

缺點
由於推出的時間太短，關於它的各種資料還不太多。

綜述：我認為C++ Builder 是最好的編程工具。它既保持了C++語言編程的優點，又做到了完全的可視化。

C語言簡介
==============================================
方案五 SQL語言 & Power Builder

對於一些傳統的數據開發人員來說，Foxpro系列也許讓他們感到更加熟悉。但是對於初學者來說，PowerBuilder也許是最好的資料庫開發工具。各種各樣的控制項，功能強大的PowerBuilder語言都會幫助你開發出自己的資料庫應用程序。

[NextPage]
JSP簡介

在Sun正式發布JSP(Java Server Pages)之後，這種新的Web應用開發技術很快引起了人們的關注。JSP為創建高度動態的Web應用提供了一個獨特的開發環境。按照 Sun 的說法，JSP能夠適應市場上包括Apache WebServer 、IIS4.0在內的85%的伺服器產品。

JSP與ASP的簡單比較

JSP與Microsoft的ASP技術非常相似。兩者都提供在HTML代碼中混合某種程序代碼、由語言引擎解釋執行程序代碼的能力。在ASP或JSP環境下，HTML代碼主要負責描述信息的顯示樣式，而程序代碼則用來描述處理邏輯。普通的HTML頁面只依賴於Web伺服器，而ASP和JSP頁面需要附加的語言引擎分析和執行程序代碼。程序代碼的執行結果被重新嵌入到HTML代碼中，然後一起發送給瀏覽器。ASP和JSP都是面向Web伺服器的技術，客戶端瀏覽器不需要任何附加的軟體支持。

ASP的編程語言是VBScript之類的腳本語言，JSP使用的是Java，這是兩者最明顯的區別。

此外，ASP與JSP還有一個更為本質的區別：兩種語言引擎用完全不同的方式處理頁面中嵌入的程序代碼。在ASP下，VBScript代碼被ASP引擎解釋執行；在JSP下，代碼被編譯成Servlet並由Java虛擬機執行，這種編譯操作僅在對JSP頁面的第一次請求時發生。

運行環境

執行 JSP 代碼需要在伺服器上安裝 JSP 引擎。此處我們使用的是 Sun 的 JavaServer Web Development Kit （ JSWDK ）。為便於學習，這個軟體包提供了大量可供修改的示例。安裝 JSWDK 之後，只需執行 startserver 命令即可啟動伺服器。在默認配置下伺服器在埠 8080 監聽，使用 http://localhost:8080 即可打開預設頁面。

在運行 JSP 示例頁面之前，請注意一下安裝 JSWDK 的目錄，特別是" work "子目錄下的內容。執行示例頁面時，可以在這里看到 JSP 頁面如何被轉換成 Java 源文件，然後又被編譯成 class 文件（即 Servlet ）。 JSWDK 軟體包中的示例頁面分為兩類，它們或者是 JSP 文件，或者是包含一個表單的 HTML 文件，這些表單均由 JSP 代碼處理。與 ASP 一樣， JSP 中的 Java 代碼均在伺服器端執行。因此，在瀏覽器中使用"查看源文件"菜單是無法看到 JSP 源代碼的，只能看到結果 HTML 代碼。所有示例的源代碼均通過一個單獨的" examples "頁面提供。

Java Servlet是一種開發Web應用的理想構架。 JSP以Servlet技術為基礎，又在許多方面作了改進。JSP頁面看起來象普通HTML頁面，但它允許嵌入執行代碼，在這一點上，它和ASP技術非常相似。利用跨平台運行的JavaBean 組件，JSP為分離處理邏輯與顯示樣式提供了卓越的解決方案。JSP必將成為ASP技術的有力競爭者。

[NextPage]
SQL語言簡介

SQL全稱是「結構化查詢語言(Structured Query Language)」，最早的是IBM的聖約瑟研究實驗室為其關系資料庫管理系統SYSTEM R開發的一種查詢語言，它的前身是SQUARE語言。SQL語言結構簡潔，功能強大，簡單易學，所以自從IBM公司1981年推出以來，SQL語言，得到了廣泛的應用。如今無論是像Oracle ,Sybase,Informix,SQL server這些大型的資料庫管理系統，還是像Visual Foxporo,PowerBuilder這些微機上常用的資料庫開發系統，都支持SQL語言作為查詢語言。

Structured Query Language包含4個部分：

數據查詢語言DQL-Data Query Language SELECT
數據操縱語言DQL-Data Manipulation Language INSERT, UPDATE, DELETE
數據定義語言DQL-Data Definition Language CREATE, ALTER, DROP
數據控制語言DQL-Data Control Language COMMIT WORK, ROLLBACK WORK

SQL的歷史

在70年代初，E.E.Codd首先提出了關系模型。70年代中期，IBM公司在研製 SYSTEM R關系資料庫管理系統中研製了SQL語言，最早的SQL語言(叫SEQUEL2)是在1976 年 11 月的IBM Journal of R&D上公布的。

1979年ORACLE公司首先提供商用的SQL，IBM公司在DB2 和SQL/DS資料庫系統中也實現了SQL。

1986年10月，美國ANSI採用SQL作為關系資料庫管理系統的標准語言(ANSI X3. 135-1986)，後為國際標准化組織(ISO)採納為國際標准。

1989年，美國ANSI採納在ANSI X3.135-1989報告中定義的關系資料庫管理系統的SQL標准語言，稱為ANSI SQL 89， 該標准替代ANSI X3.135-1986版本。該標准為下列組織所採納：

● 國際標准化組織(ISO)，為ISO 9075-1989報告「Database Language SQL With Integrity Enhancement」
● 美國聯邦政府，發布在The Federal Information Processing Standard Publication(FIPS PUB)127

目前，所有主要的關系資料庫管理系統支持某些形式的SQL語言， 大部分資料庫打算遵守ANSI SQL89標准。

SQL的優點

SQL廣泛地被採用正說明了它的優點。它使全部用戶，包括應用程序員、DBA管理員和終端用戶受益非淺。

(1) 非過程化語言

SQL是一個非過程化的語言，因為它一次處理一個記錄，對數據提供自動導航。SQL允許用戶在高層的數據結構上工作，而不對單個記錄進行操作，可操作記錄集。所有SQL 語句接受集合作為輸入，返回集合作為輸出。SQL的集合特性允許一條SQL語句的結果作為另一條SQL語句的輸入。 SQL不要求用戶指定對數據的存放方法。 這種特性使用戶更易集中精力於要得到的結果。所有SQL語句使用查詢優化器，它是RDBMS的一部分，由它決定對指定數據存取的最快速度的手段。查詢優化器知道存在什麼索引，哪兒使用合適，而用戶從不需要知道表是否有索引，表有什麼類型的索引。

(2) 統一的語言

SQL可用於所有用戶的DB活動模型，包括系統管理員、資料庫管理員、 應用程序員、決策支持系統人員及許多其它類型的終端用戶。基本的SQL 命令只需很少時間就能學會，最高級的命令在幾天內便可掌握。 SQL為許多任務提供了命令，包括：

● 查詢數據
● 在表中插入、修改和刪除記錄
● 建立、修改和刪除數據對象
● 控制對數據和數據對象的存取
● 保證資料庫一致性和完整性

以前的資料庫管理系統為上述各類操作提供單獨的語言，而SQL 將全部任務統一在一種語言中。

(3) 是所有關系資料庫的公共語言

由於所有主要的關系資料庫管理系統都支持SQL語言，用戶可將使用SQL的技能從一個RDBMS轉到另一個。所有用SQL編寫的程序都是可以移植的。

[NextPage]
Java語言簡介

一. Java的由來

當1995年SUN推出Java語言之後，全世界的目光都被這個神奇的語言所吸引。那麼Java到底有何神奇之處呢？

Java語言其實最是誕生於1991年，起初被稱為OAK語言，是SUN公司為一些消費性電子產品而設計的一個通用環境。他們最初的目的只是為了開發一種獨立於平台的軟體技術，而且在網路出現之前，OAK可以說是默默無聞，甚至差點夭折。但是，網路的出現改變了OAK的命運。

在Java出現以前。Internet上的信息內容都是一些乏味死板的HTML文檔。這對於那些迷戀於WEB瀏覽的人們來說簡直不可容忍。他們迫切希望能在WEN中看到一些互動式的內容，開發人員也極希望能夠在WEB上創建一類無需考慮軟硬體平台就可以執行的應用程序，當然這些程序還要有極大的安全保障。對於用戶的這種要求，傳統的編程語言顯得無能為力，面SUN的工程師敏銳地察覺到了這一點，從1994年起，他們開始將OAK技術應用於WEB上，並且開發出了HotJava的第一個版本。當SUN公司1995年正式以Java這個名字推出的時候，幾乎所有的WEB開發人員都想到：噢，這正是我想要的。於是Java成了一顆耀眼的明星，丑小鴨一下了變成了白天鵝。

二. Java的定義

Java是一種簡單的，面象對象的，分布式的，解釋的，鍵壯的安全的，結構的中立的，可移植的，性能很優異的多線程的，動態的語言。

Java的開發環境有不同的版本，如sun公司的Java Developers Kit， 簡稱 JDK。後來微軟公司推出了支持Java規范的Microsoft Visual J++ Java開發環境，簡稱 VJ++。

三. Java的特點

1. 平台無關性

平台無關性是指Java能運行於不同的平台。Java引進虛擬機 原理，並運行於虛擬機，實現不同平台的Java介面之間。使 用Java編寫的程序能在世界范圍內共享。Java的數據類型與 機器無關，Java虛擬機（Java Virtual Machine）是建立在 硬體和操作系統之上，實現Java二進制代碼的解釋執行功能， 提供於不同平台的介面的。

2. 安全性

Java的編程類似C++,學習過C++的讀者將很快掌握Java的精 髓。Java舍棄了C++的指針對存儲器地址的直接操作，程序 運行時，內存由操作系統分配，這樣可以避免病毒通過指 針侵入系統。Java對程序提供了安全管理器，防止程序的 非法訪問。

3. 面向對象

Java 吸取了C++面向對象的概念,將數據封裝於類中,利用類 的優點,實現了程序的簡潔性和便於維護性。類的封裝性、 繼承性等有關對象的特性，使程序代碼只需一次編譯，然後 通過上述特性反復利用。程序員只需把主要精力用在類和接 口的設計和應用上。Java 提供了眾多的一般對象的類，通 過繼承即可使用父類的方法。在 Java 中，類的繼承關系是單一的非多重的，一個子類 只有一個父類，子類的父類又有一個父類。Java 提供的 Object 類及其子類的繼承關系如同一棵倒立的樹形，根類 為 Object 類， Object 類功能強大，經常會使用到它及其 它派生的子類。

4. 分布式

Java建立在擴展TCP/IP網路平台上。庫函數提供了用HTTP和FTP協議傳送和接受信息的方法。這使得程序員使用網路上的文件和使用本機文件一樣容易。

5. 鍵壯性

Java致力於檢查程序在編譯和運行時的錯誤。類型檢查幫助檢查出許多開發早期出現的錯誤。Java自已操縱內存減少了內存出錯的可能性。Java還實現了真數組，避免了覆蓋數據的可能。這些功能特徵大大提高了開發Java應用程序的周期。Java提供： Null指針檢測、 數組邊界檢測、 異常出口、 Byte code校驗。

四. Java與C/C++語言

Java提供了一個功能強大語言的所有功能，但幾乎沒有一點含混特徵。C++安全性不好，但C和C++被大家接受，所以Java設計成C++形式，讓大家很容易學習。

Java去掉了C++語言的許多功能，讓Java的語言功能很精煉，並增加了一些很有用的功能，如自動收集碎片。

Java去掉了以下幾個C和C++功能：
指針運算
結構
typedefs
#define
需要釋放內存

這將減少了平常出錯的50%。而且，Java很小，整個解釋器只需215K的RAM。

面象對象：Java實現了C++的基本面象對象技術並有一些增強，（為了語言簡單，刪除了一些功能）。Java處理數據方式和用對象介面處理對象數據方式一樣。

五. Java與Internet

我們知道，早先的 www 僅可以傳送文本和圖片，Java的出現實現了互動的頁面，是一次偉大的革命。

Java並不是為 Internet,WWW而設計的，它也可以用來編寫獨立的應用程序。Java 是一種面向對象語言。Java 語言類似於 C++ 語言，所以已熟練掌握 C++語言的編程人員，再學習 Java 語言就容易得多！Java 程序需要編譯。實際上有兩種 Java 程序：一種 Java 應用程序是一個完整的程序，如 Web 瀏覽器。一種 Java 小應用程序是運行於 Web 瀏覽器中的一個程序.

Java程序和它的瀏覽器HotJava，提供了可讓你的瀏覽器運行程序的方法。你能從你的瀏覽器里直接播放聲音。你還能播放頁面里的動畫。Java還能告訴你的瀏覽器怎樣處理新的類型文件。當我們能在2400 baud線上傳輸視頻圖象時，HotJava將能顯示這些視頻。

當今Internet的一大發展趨勢是電子商務，而Internet的安全問題是必須解決的問題，通常大的部門應設置防火牆，阻止非法侵入。

電子商務是當今的熱門話題，然而傳統的編程語言難以勝任電子商務系統，電子商務要求程序代碼具有基本的要求：安全、可靠、同時要求能 與運行於不同平台的機器的全世界客戶開展業務。Java以其強安全性、平台無關性、硬體結構無關性、語言簡潔同時面向對象，在網路編程語言中占據無可比擬的優勢，成為實現電子商務系統的首選語言。

Java程序被放置在Internet伺服器上,當用戶訪問伺服器時,Java程序被下載到本地的用戶機上,由瀏覽器解釋運行。

[NextPage]
PowerBuilder簡介

PowerBuilder的產生

PowerBuilder是美國著名的資料庫應用開發工具生產廠商PowerSoft推出的成功產品，其第一版於1991年6月正式投入市場。它是完全按照客戶/伺服器體系結構研製設計的，採用面向對象技術，圖形化的應用開發環境，是資料庫的前端開發工具。

PowerBuilder的特點

它支持應用系統同時訪問多種資料庫，其中既包括Oracel,Sybase之類的大型資料庫，又包括FOXPRO之類支持ODBC介面的小型資料庫，PowerBuilder是完全可視化的資料庫開發工具，它提供了大量的控制項，大大加快了項目的開發速度，也使開發者更容易掌握資料庫的開發。

它使用的編程語言叫做工PowerScripr，它也是一種高級的，結構化的編程語言。PowerScript提供了一套完整的嵌入式SQL語句，開發人員可以像使用其它語句一樣自由地使用SQL語言，這樣就大大增強了程序操縱和訪問資料庫的能力。可以說PowerBuilder既適合初學者快速學習資料庫的開發，又可以讓有經驗的開發人員開發出功能強大的資料庫，是一種適用面非常廣的開發工具。

PowerBuilder是一個用來進行客戶/伺服器開發的完全的可視化開發環境。使用PowerBuilder,你可以用一種可視的直觀的方式來創建應用程序的用戶界面和資料庫介面。這是一個總的概念，實際上是開發人員使用PowerBuilder去開發應用程序，由於所開發的各種應用程序充分利用了圖形用戶介面(GUI)的優點，所以PowerBuilder被認為是一個圖形工具。

在客戶／伺服器結構的應用中，PowerBuilder具有描述多個資料庫連接與檢索的能力。特別是PowerBuilder能從大多數流行的RDBMS中存取數據，且不管數據存放在什麽地方；另外，各種應用程序又可以獨立於RDBMS,因為PowerBuilder可以使用資料庫的標准操作語言SQL(結構化查詢語言）進行。

使用PowerBuilder，可以很容易地開發出功能強大的圖形界面的訪問伺服器資料庫的應用程序，PowerBuilder提供了建立符合工業標準的應用程序（例如訂單登記、會計及製造系統）所需的所有工具。

PowerBuilder應用程序由窗口組成，這些窗口包含用戶與之交互的控制項。開發人員可以使用所有標准
如WINDOWS XP \WINDOWS 2000 \WINDOW VIST.等

⑤ 怎麼用VBA或網路爬蟲程序抓取網站數據

VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭

也可以利用採集工具進行採集網頁端的數據，無需寫代碼。