爬虫程序员如何制作爱国视频

① Python爬虫是什么

为自动提取网页的程序，它为搜索引擎从万维网上下载网页。

网络爬虫为一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。

(1)爬虫程序员如何制作爱国视频扩展阅读：

网络爬虫的相关要求规定：

1、由Python标准库提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。

2、按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。 当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。

3、文本处理，包含文本格式化、正则表达式匹配、文本差异计算与合并、Unicode支持，二进制数据处理等功能。

② 学python爬虫，已有基础入门知识，是自己从零学怎么编写爬虫好还是直接学怎么用框架实现功能好

直接框架。爬虫基本内容逻辑不复杂。
框架解决非主要逻辑问题，你把焦点放在业务主要逻辑上。
自己写，各种异常请求，多线程，断点，连续访问，代理等等，非常耗时间。

③ 如何用Python做爬虫

1）首先你要明白爬虫怎样工作。

想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。

在人民日报的首页，你看到那个页面引向的各种链接。于是你很开心地从爬到了“国内新闻”那个页面。太好了，这样你就已经爬完了俩页面（首页和国内新闻）！暂且不用管爬下来的页面怎么处理的，你就想象你把这个页面完完整整抄成了个html放到了你身上。

突然你发现， 在国内新闻这个页面上，有一个链接链回“首页”。作为一只聪明的蜘蛛，你肯定知道你不用爬回去的吧，因为你已经看过了啊。所以，你需要用你的脑子，存下你已经看过的页面地址。这样，每次看到一个可能需要爬的新链接，你就先查查你脑子里是不是已经去过这个页面地址。如果去过，那就别去了。

好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。

那么在python里怎么实现呢？
很简单

import Queue

initial_page = "初始化页"

url_queue = Queue.Queue()
seen = set()

seen.insert(initial_page)
url_queue.put(initial_page)

while(True): #一直进行直到海枯石烂
if url_queue.size()>0:
current_url = url_queue.get() #拿出队例中第一个的url
store(current_url) #把这个url代表的网页存储好
for next_url in extract_urls(current_url): #提取把这个url里链向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break

写得已经很伪代码了。

所有的爬虫的backbone都在这里，下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。

2）效率
如果你直接加工一下上面的代码直接运行的话，你需要一整年才能爬下整个豆瓣的内容。更别说Google这样的搜索引擎需要爬下全网的内容了。

问题出在哪呢？需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。OK，OK，我知道python的set实现是hash——不过这样还是太慢了，至少内存使用效率不高。

通常的判重做法是怎样呢？Bloom Filter. 简单讲它仍然是一种hash的方法，但是它的特点是，它可以使用固定的内存（不随url的数量而增长）以O(1)的效率判定url是否已经在set中。可惜天下没有白吃的午餐，它的唯一问题在于，如果这个url不在set中，BF可以100%确定这个url没有看过。但是如果这个url在set中，它会告诉你：这个url应该已经出现过，不过我有2%的不确定性。注意这里的不确定性在你分配的内存足够大的时候，可以变得很小很少。一个简单的教程:Bloom Filters by Example

注意到这个特点，url如果被看过，那么可能以小概率重复看一看（没关系，多看看不会累死）。但是如果没被看过，一定会被看一下（这个很重要，不然我们就要漏掉一些网页了！）。 [IMPORTANT: 此段有问题，请暂时略过]

好，现在已经接近处理判重最快的方法了。另外一个瓶颈——你只有一台机器。不管你的带宽有多大，只要你的机器下载网页的速度是瓶颈的话，那么你只有加快这个速度。用一台机子不够的话——用很多台吧！当然，我们假设每台机子都已经进了最大的效率——使用多线程（python的话，多进程吧）。

3）集群化抓取
爬取豆瓣的时候，我总共用了100多台机器昼夜不停地运行了一个月。想象如果只用一台机子你就得运行100个月了...

那么，假设你现在有100台机器可以用，怎么用python实现一个分布式的爬取算法呢？

我们把这100台中的99台运算能力较小的机器叫作slave，另外一台较大的机器叫作master，那么回顾上面代码中的url_queue，如果我们能把这个queue放到这台master机器上，所有的slave都可以通过网络跟master联通，每当一个slave完成下载一个网页，就向master请求一个新的网页来抓取。而每次slave新抓到一个网页，就把这个网页上所有的链接送到master的queue里去。同样，bloom filter也放到master上，但是现在master只发送确定没有被访问过的url给slave。Bloom Filter放到master的内存里，而被访问过的url放到运行在master上的Redis里，这样保证所有操作都是O(1)。（至少平摊是O(1)，Redis的访问效率见:LINSERT – Redis)

考虑如何用python实现：
在各台slave上装好scrapy，那么各台机子就变成了一台有抓取能力的slave，在master上装好Redis和rq用作分布式队列。

代码于是写成

#slave.py

current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)

store(current_url);
send_to_master(to_send)

#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()

initial_pages = "www.renmingribao.com"

while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)

好的，其实你能想到，有人已经给你写好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及后处理
虽然上面用很多“简单”，但是真正要实现一个商业规模可用的爬虫并不是一件容易的事。上面的代码用来爬一个整体的网站几乎没有太大的问题。

但是如果附加上你需要这些后续处理，比如

有效地存储（数据库应该怎样安排）

有效地判重（这里指网页判重，咱可不想把人民日报和抄袭它的大民日报都爬一遍）

有效地信息抽取（比如怎么样抽取出网页上所有的地址抽取出来，“朝阳区奋进路中华道”），搜索引擎通常不需要存储所有的信息，比如图片我存来干嘛...

及时更新（预测这个网页多久会更新一次）

如你所想，这里每一个点都可以供很多研究者十数年的研究。虽然如此，
“路漫漫其修远兮,吾将上下而求索”。

所以，不要问怎么入门，直接上路就好了：）

④ 做一个程序员要具备什么

1：团队精神和协作能力 ，和基本的操作常识，缺乏这种素质的人就完全不合格了。
2.要有做文档的习惯，缺乏文档，一个软件系统就缺乏生命力，在未来的查错，升级以及模块的复用时就都会遇 到极大的麻烦。
3：规范化，标准化的代码编写习惯 。
4.代码具有良好的可读性，是程序员基本的素质需求。
5.程序员需要理解一个模块的需求，把性能指标全部归结到硬件，操作系统和开发环境上。
6.复用性，模块化思维能力 ，避免大部分重复性工作无谓的浪费了时间和精力。
7. 测试习惯 ，作为一些商业化正规化的开发而言，专职的测试工程师是不可少的
8..程序员是人才很容易被淘汰，很容易落伍的职业，必须不断跟进新的技术，学习新的技能。
计算机语言的种类非常的多，总的来说可以分成机器语言，汇编语言，高级语言三大类。

电脑每做的一次动作，一个步骤，都是按照以经用计算机语言编好的程序来执行的，程序是计算机要执行的指令的集合，而程序全部都是用我们所掌握的语言来编写的。所以人们要控制计算机一定要通过计算机语言向计算机发出命令。

计算机所能识别的语言只有机器语言，即由0和1构成的代码。但通常人们编程时，不采用机器语言，因为它非常难于记忆和识别。

目前通用的编程语言有两种形式：汇编语言和高级语言。

汇编语言的实质和机器语言是相同的，都是直接对硬件操作，只不过指令采用了英文缩写的标识符，更容易识别和记忆。它同样需要编程者将每一步具体的操作用命令的形式写出来。汇编程序通常由三部分组成：指令、伪指令和宏指令。汇编程序的每一句指令只能对应实际操作过程中的一个很细微的动作，例如移动、自增，因此汇编源程序一般比较冗长、复杂、容易出错，而且使用汇编语言编程需要有更多的计算机专业知识，但汇编语言的优点也是显而易见的，用汇编语言所能完成的操作不是一般高级语言所能实现的，而且源程序经汇编生成的可执行文件不仅比较小，而且执行速度很快。

高级语言是目前绝大多数编程者的选择。和汇编语言相比，它不但将许多相关的机器指令合成为单条指令，并且去掉了与具体操作有关但与完成工作无关的细节，例如使用堆栈、寄存器等，这样就大大简化了程序中的指令。同时，由于省略了很多细节，编程者也就不需要有太多的专业知识。

高级语言主要是相对于汇编语言而言，它并不是特指某一种具体的语言，而是包括了很多编程语言，如目前流行的VB、VC、FoxPro、Delphi等，这些语言的语法、命令格式都各不相同。

高级语言所编制的程序不能直接被计算机识别，必须经过转换才能被执行，按转换方式可将它们分为两类:

解释类：执行方式类似于我们日常生活中的“同声翻译”，应用程序源代码一边由相应语言的解释器“翻译”成目标代码(机器语言)，一边执行，因此效率比较低，而且不能生成可独立执行的可执行文件，应用程序不能脱离其解释器，但这种方式比较灵活，可以动态地调整、修改应用程序。

编译类：编译是指在应用源程序执行之前，就将程序源代码“翻译”成目标代码(机器语言)，因此其目标程序可以脱离其语言环境独立执行，使用比较方便、效率较高。但应用程序一旦需要修改，必须先修改源代码，再重新编译生成新的目标文件(＊ .OBJ)才能执行，只有目标文件而没有源代码，修改很不方便。现在大多数的编程语言都是编译型的，例如Visual C＋＋、Visual Foxpro、Delphi等。

[NextPage]

学习编程，从何入手

如果您想学习编程，却又不知从何入手，那么您不妨看看下面的几种学习方案，可能会给您一些启示吧！
==============================================
方案一 Basic语言 & Visual Basic

优点
（1）Basic 简单易学，很容易上手。
（2）Visual Basic 提供了强大的可视化编程能力，可以让你轻松地做出漂亮的程序。
（3）众多的控件让编程变得象垒积木一样简单。
（4）Visual Basic 的全部汉化让我们这些见了English就头大的人喜不自禁。

缺点
（1）Visual Basic 不是真正的面向对象的开发文具。
（2）Visual Basic 的数据类型太少，而且不支持指针，这使得它的表达能力很有限。
（3）Visual Basic 不是真正的编译型语言，它产生的最终代码不是可执行的，是一种伪代码。它需要一个动态链接库去解释执行，这使得Visual Basic 的编译速度大大变慢。

综述：方案一适合初涉编程的朋友，它对学习者的要求不高，几乎每个人都可以在一个比较短的时间里学会vB编程，并用VB 做出自己的作品。对于那些把编程当做游戏的朋友来说，VB 是您最佳的选择。

Basic/Visual Basic简介
==============================================
方案二 Pascal语言 & Delphi

优点
（1）Pascal语言结构严谨，可以很好地培养一个人的编程思想。
（2）Delphi是一门真正的面向对象的开发工具，并且是完全的可视化。
（3）Delphi使用了真编译，可以让你的代码编译成为可执行的文件，而且编译速度非常快。
（4）Delphi具有强大的数据库开发能力，可以让你轻松地开发数据库。

缺点
Delphi几乎可以说是完美的，只是Pascal语言的过于严谨让人感觉有点烦。

综述: 方案二比较适合那些具有一定编程基础并且学过Pascal语言的朋友。

Pascal语言简介
Delphi简介
==============================================
方案三 C语言 & Visual C++

优点
（1）C语言灵活性好，效率高，可以接触到软件开发比较底层的东西。
（2）微软的MFC库博大精深，学会它可以让随心所欲地进行编程。
（3）VC是微软制作的产品，与操作系统的结合更加紧密。

缺点
对使用者的要求比较高，既要具备丰富的C语言编程经验，又要具有一定的WINDOWS编程基础，它的过于专业使得一般的编程爱好者学习起来会有不小的困难。

综述: VC是程序员用的东西。如果你是一个永不满足的人，而且可以在编程上投入很大的精力和时间，那么学习VC你一定不会后悔的。

C语言简介
==============================================
方案四 C++语言 & C++ Builder

优点
（1）C++语言的优点全部得以继承。
（2）完全的可是化。
（3）极强的兼容性，支持OWL、VCL和MFC三大类库。
（4）编译速度非常快。

缺点
由于推出的时间太短，关于它的各种资料还不太多。

综述：我认为C++ Builder 是最好的编程工具。它既保持了C++语言编程的优点，又做到了完全的可视化。

C语言简介
==============================================
方案五 SQL语言 & Power Builder

对于一些传统的数据开发人员来说，Foxpro系列也许让他们感到更加熟悉。但是对于初学者来说，PowerBuilder也许是最好的数据库开发工具。各种各样的控件，功能强大的PowerBuilder语言都会帮助你开发出自己的数据库应用程序。

[NextPage]
JSP简介

在Sun正式发布JSP(Java Server Pages)之后，这种新的Web应用开发技术很快引起了人们的关注。JSP为创建高度动态的Web应用提供了一个独特的开发环境。按照 Sun 的说法，JSP能够适应市场上包括Apache WebServer 、IIS4.0在内的85%的服务器产品。

JSP与ASP的简单比较

JSP与Microsoft的ASP技术非常相似。两者都提供在HTML代码中混合某种程序代码、由语言引擎解释执行程序代码的能力。在ASP或JSP环境下，HTML代码主要负责描述信息的显示样式，而程序代码则用来描述处理逻辑。普通的HTML页面只依赖于Web服务器，而ASP和JSP页面需要附加的语言引擎分析和执行程序代码。程序代码的执行结果被重新嵌入到HTML代码中，然后一起发送给浏览器。ASP和JSP都是面向Web服务器的技术，客户端浏览器不需要任何附加的软件支持。

ASP的编程语言是VBScript之类的脚本语言，JSP使用的是Java，这是两者最明显的区别。

此外，ASP与JSP还有一个更为本质的区别：两种语言引擎用完全不同的方式处理页面中嵌入的程序代码。在ASP下，VBScript代码被ASP引擎解释执行；在JSP下，代码被编译成Servlet并由Java虚拟机执行，这种编译操作仅在对JSP页面的第一次请求时发生。

运行环境

执行 JSP 代码需要在服务器上安装 JSP 引擎。此处我们使用的是 Sun 的 JavaServer Web Development Kit （ JSWDK ）。为便于学习，这个软件包提供了大量可供修改的示例。安装 JSWDK 之后，只需执行 startserver 命令即可启动服务器。在默认配置下服务器在端口 8080 监听，使用 http://localhost:8080 即可打开缺省页面。

在运行 JSP 示例页面之前，请注意一下安装 JSWDK 的目录，特别是" work "子目录下的内容。执行示例页面时，可以在这里看到 JSP 页面如何被转换成 Java 源文件，然后又被编译成 class 文件（即 Servlet ）。 JSWDK 软件包中的示例页面分为两类，它们或者是 JSP 文件，或者是包含一个表单的 HTML 文件，这些表单均由 JSP 代码处理。与 ASP 一样， JSP 中的 Java 代码均在服务器端执行。因此，在浏览器中使用"查看源文件"菜单是无法看到 JSP 源代码的，只能看到结果 HTML 代码。所有示例的源代码均通过一个单独的" examples "页面提供。

Java Servlet是一种开发Web应用的理想构架。 JSP以Servlet技术为基础，又在许多方面作了改进。JSP页面看起来象普通HTML页面，但它允许嵌入执行代码，在这一点上，它和ASP技术非常相似。利用跨平台运行的JavaBean 组件，JSP为分离处理逻辑与显示样式提供了卓越的解决方案。JSP必将成为ASP技术的有力竞争者。

[NextPage]
SQL语言简介

SQL全称是“结构化查询语言(Structured Query Language)”，最早的是IBM的圣约瑟研究实验室为其关系数据库管理系统SYSTEM R开发的一种查询语言，它的前身是SQUARE语言。SQL语言结构简洁，功能强大，简单易学，所以自从IBM公司1981年推出以来，SQL语言，得到了广泛的应用。如今无论是像Oracle ,Sybase,Informix,SQL server这些大型的数据库管理系统，还是像Visual Foxporo,PowerBuilder这些微机上常用的数据库开发系统，都支持SQL语言作为查询语言。

Structured Query Language包含4个部分：

数据查询语言DQL-Data Query Language SELECT
数据操纵语言DQL-Data Manipulation Language INSERT, UPDATE, DELETE
数据定义语言DQL-Data Definition Language CREATE, ALTER, DROP
数据控制语言DQL-Data Control Language COMMIT WORK, ROLLBACK WORK

SQL的历史

在70年代初，E.E.Codd首先提出了关系模型。70年代中期，IBM公司在研制 SYSTEM R关系数据库管理系统中研制了SQL语言，最早的SQL语言(叫SEQUEL2)是在1976 年 11 月的IBM Journal of R&D上公布的。

1979年ORACLE公司首先提供商用的SQL，IBM公司在DB2 和SQL/DS数据库系统中也实现了SQL。

1986年10月，美国ANSI采用SQL作为关系数据库管理系统的标准语言(ANSI X3. 135-1986)，后为国际标准化组织(ISO)采纳为国际标准。

1989年，美国ANSI采纳在ANSI X3.135-1989报告中定义的关系数据库管理系统的SQL标准语言，称为ANSI SQL 89， 该标准替代ANSI X3.135-1986版本。该标准为下列组织所采纳：

● 国际标准化组织(ISO)，为ISO 9075-1989报告“Database Language SQL With Integrity Enhancement”
● 美国联邦政府，发布在The Federal Information Processing Standard Publication(FIPS PUB)127

目前，所有主要的关系数据库管理系统支持某些形式的SQL语言， 大部分数据库打算遵守ANSI SQL89标准。

SQL的优点

SQL广泛地被采用正说明了它的优点。它使全部用户，包括应用程序员、DBA管理员和终端用户受益非浅。

(1) 非过程化语言

SQL是一个非过程化的语言，因为它一次处理一个记录，对数据提供自动导航。SQL允许用户在高层的数据结构上工作，而不对单个记录进行操作，可操作记录集。所有SQL 语句接受集合作为输入，返回集合作为输出。SQL的集合特性允许一条SQL语句的结果作为另一条SQL语句的输入。 SQL不要求用户指定对数据的存放方法。 这种特性使用户更易集中精力于要得到的结果。所有SQL语句使用查询优化器，它是RDBMS的一部分，由它决定对指定数据存取的最快速度的手段。查询优化器知道存在什么索引，哪儿使用合适，而用户从不需要知道表是否有索引，表有什么类型的索引。

(2) 统一的语言

SQL可用于所有用户的DB活动模型，包括系统管理员、数据库管理员、 应用程序员、决策支持系统人员及许多其它类型的终端用户。基本的SQL 命令只需很少时间就能学会，最高级的命令在几天内便可掌握。 SQL为许多任务提供了命令，包括：

● 查询数据
● 在表中插入、修改和删除记录
● 建立、修改和删除数据对象
● 控制对数据和数据对象的存取
● 保证数据库一致性和完整性

以前的数据库管理系统为上述各类操作提供单独的语言，而SQL 将全部任务统一在一种语言中。

(3) 是所有关系数据库的公共语言

由于所有主要的关系数据库管理系统都支持SQL语言，用户可将使用SQL的技能从一个RDBMS转到另一个。所有用SQL编写的程序都是可以移植的。

[NextPage]
Java语言简介

一. Java的由来

当1995年SUN推出Java语言之后，全世界的目光都被这个神奇的语言所吸引。那么Java到底有何神奇之处呢？

Java语言其实最是诞生于1991年，起初被称为OAK语言，是SUN公司为一些消费性电子产品而设计的一个通用环境。他们最初的目的只是为了开发一种独立于平台的软件技术，而且在网络出现之前，OAK可以说是默默无闻，甚至差点夭折。但是，网络的出现改变了OAK的命运。

在Java出现以前。Internet上的信息内容都是一些乏味死板的HTML文档。这对于那些迷恋于WEB浏览的人们来说简直不可容忍。他们迫切希望能在WEN中看到一些交互式的内容，开发人员也极希望能够在WEB上创建一类无需考虑软硬件平台就可以执行的应用程序，当然这些程序还要有极大的安全保障。对于用户的这种要求，传统的编程语言显得无能为力，面SUN的工程师敏锐地察觉到了这一点，从1994年起，他们开始将OAK技术应用于WEB上，并且开发出了HotJava的第一个版本。当SUN公司1995年正式以Java这个名字推出的时候，几乎所有的WEB开发人员都想到：噢，这正是我想要的。于是Java成了一颗耀眼的明星，丑小鸭一下了变成了白天鹅。

二. Java的定义

Java是一种简单的，面象对象的，分布式的，解释的，键壮的安全的，结构的中立的，可移植的，性能很优异的多线程的，动态的语言。

Java的开发环境有不同的版本，如sun公司的Java Developers Kit， 简称 JDK。后来微软公司推出了支持Java规范的Microsoft Visual J++ Java开发环境，简称 VJ++。

三. Java的特点

1. 平台无关性

平台无关性是指Java能运行于不同的平台。Java引进虚拟机 原理，并运行于虚拟机，实现不同平台的Java接口之间。使 用Java编写的程序能在世界范围内共享。Java的数据类型与 机器无关，Java虚拟机（Java Virtual Machine）是建立在 硬件和操作系统之上，实现Java二进制代码的解释执行功能， 提供于不同平台的接口的。

2. 安全性

Java的编程类似C++,学习过C++的读者将很快掌握Java的精 髓。Java舍弃了C++的指针对存储器地址的直接操作，程序 运行时，内存由操作系统分配，这样可以避免病毒通过指 针侵入系统。Java对程序提供了安全管理器，防止程序的 非法访问。

3. 面向对象

Java 吸取了C++面向对象的概念,将数据封装于类中,利用类 的优点,实现了程序的简洁性和便于维护性。类的封装性、 继承性等有关对象的特性，使程序代码只需一次编译，然后 通过上述特性反复利用。程序员只需把主要精力用在类和接 口的设计和应用上。Java 提供了众多的一般对象的类，通 过继承即可使用父类的方法。在 Java 中，类的继承关系是单一的非多重的，一个子类 只有一个父类，子类的父类又有一个父类。Java 提供的 Object 类及其子类的继承关系如同一棵倒立的树形，根类 为 Object 类， Object 类功能强大，经常会使用到它及其 它派生的子类。

4. 分布式

Java建立在扩展TCP/IP网络平台上。库函数提供了用HTTP和FTP协议传送和接受信息的方法。这使得程序员使用网络上的文件和使用本机文件一样容易。

5. 键壮性

Java致力于检查程序在编译和运行时的错误。类型检查帮助检查出许多开发早期出现的错误。Java自已操纵内存减少了内存出错的可能性。Java还实现了真数组，避免了覆盖数据的可能。这些功能特征大大提高了开发Java应用程序的周期。Java提供： Null指针检测、 数组边界检测、 异常出口、 Byte code校验。

四. Java与C/C++语言

Java提供了一个功能强大语言的所有功能，但几乎没有一点含混特征。C++安全性不好，但C和C++被大家接受，所以Java设计成C++形式，让大家很容易学习。

Java去掉了C++语言的许多功能，让Java的语言功能很精炼，并增加了一些很有用的功能，如自动收集碎片。

Java去掉了以下几个C和C++功能：
指针运算
结构
typedefs
#define
需要释放内存

这将减少了平常出错的50%。而且，Java很小，整个解释器只需215K的RAM。

面象对象：Java实现了C++的基本面象对象技术并有一些增强，（为了语言简单，删除了一些功能）。Java处理数据方式和用对象接口处理对象数据方式一样。

五. Java与Internet

我们知道，早先的 www 仅可以传送文本和图片，Java的出现实现了互动的页面，是一次伟大的革命。

Java并不是为 Internet,WWW而设计的，它也可以用来编写独立的应用程序。Java 是一种面向对象语言。Java 语言类似于 C++ 语言，所以已熟练掌握 C++语言的编程人员，再学习 Java 语言就容易得多！Java 程序需要编译。实际上有两种 Java 程序：一种 Java 应用程序是一个完整的程序，如 Web 浏览器。一种 Java 小应用程序是运行于 Web 浏览器中的一个程序.

Java程序和它的浏览器HotJava，提供了可让你的浏览器运行程序的方法。你能从你的浏览器里直接播放声音。你还能播放页面里的动画。Java还能告诉你的浏览器怎样处理新的类型文件。当我们能在2400 baud线上传输视频图象时，HotJava将能显示这些视频。

当今Internet的一大发展趋势是电子商务，而Internet的安全问题是必须解决的问题，通常大的部门应设置防火墙，阻止非法侵入。

电子商务是当今的热门话题，然而传统的编程语言难以胜任电子商务系统，电子商务要求程序代码具有基本的要求：安全、可靠、同时要求能 与运行于不同平台的机器的全世界客户开展业务。Java以其强安全性、平台无关性、硬件结构无关性、语言简洁同时面向对象，在网络编程语言中占据无可比拟的优势，成为实现电子商务系统的首选语言。

Java程序被放置在Internet服务器上,当用户访问服务器时,Java程序被下载到本地的用户机上,由浏览器解释运行。

[NextPage]
PowerBuilder简介

PowerBuilder的产生

PowerBuilder是美国着名的数据库应用开发工具生产厂商PowerSoft推出的成功产品，其第一版于1991年6月正式投入市场。它是完全按照客户/服务器体系结构研制设计的，采用面向对象技术，图形化的应用开发环境，是数据库的前端开发工具。

PowerBuilder的特点

它支持应用系统同时访问多种数据库，其中既包括Oracel,Sybase之类的大型数据库，又包括FOXPRO之类支持ODBC接口的小型数据库，PowerBuilder是完全可视化的数据库开发工具，它提供了大量的控件，大大加快了项目的开发速度，也使开发者更容易掌握数据库的开发。

它使用的编程语言叫做工PowerScripr，它也是一种高级的，结构化的编程语言。PowerScript提供了一套完整的嵌入式SQL语句，开发人员可以像使用其它语句一样自由地使用SQL语言，这样就大大增强了程序操纵和访问数据库的能力。可以说PowerBuilder既适合初学者快速学习数据库的开发，又可以让有经验的开发人员开发出功能强大的数据库，是一种适用面非常广的开发工具。

PowerBuilder是一个用来进行客户/服务器开发的完全的可视化开发环境。使用PowerBuilder,你可以用一种可视的直观的方式来创建应用程序的用户界面和数据库接口。这是一个总的概念，实际上是开发人员使用PowerBuilder去开发应用程序，由于所开发的各种应用程序充分利用了图形用户接口(GUI)的优点，所以PowerBuilder被认为是一个图形工具。

在客户／服务器结构的应用中，PowerBuilder具有描述多个数据库连接与检索的能力。特别是PowerBuilder能从大多数流行的RDBMS中存取数据，且不管数据存放在什麽地方；另外，各种应用程序又可以独立于RDBMS,因为PowerBuilder可以使用数据库的标准操作语言SQL(结构化查询语言）进行。

使用PowerBuilder，可以很容易地开发出功能强大的图形界面的访问服务器数据库的应用程序，PowerBuilder提供了建立符合工业标准的应用程序（例如订单登记、会计及制造系统）所需的所有工具。

PowerBuilder应用程序由窗口组成，这些窗口包含用户与之交互的控件。开发人员可以使用所有标准
如WINDOWS XP \WINDOWS 2000 \WINDOW VIST.等

⑤ 怎么用VBA或网络爬虫程序抓取网站数据

VBA网抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模拟向服务器发送请求，接收服务器返回的数据。
优点：效率高，基本无兼容性问题。
缺点：需要借助如fiddler的工具来模拟http请求。
2、IE/webbrowser法：
创建IE控件或webbrowser控件，结合htmlfile对象的方法和属性，模拟浏览器操作，获取浏览器页面的数据。
优点：这个方法可以模拟大部分的浏览器操作。所见即所得，浏览器能看到的数据就能用代码获取。
缺点：各种弹窗相当烦人，兼容性也确实是个很伤脑筋的问题。上传文件在IE里根本无法实现。
3、QueryTables法：
因为它是excel自带，所以勉强也算是一种方法。其实此法和xmlhttp类似，也是GET或POST方式发送请求，然后得到服务器的response返回到单元格内。
优点：excel自带，可以通过录制宏得到代码，处理table很方便
。代码简短，适合快速获取一些存在于源代码的table里的数据。
缺点：无法模拟referer等发包头

也可以利用采集工具进行采集网页端的数据，无需写代码。