搜索引擎需要什麼技術

⑴ 開發搜索引擎需要具備哪些知識

下面以網路搜索機器人為例來說明搜索引擎技術。
1．網路機器人技術
網路機器人(Robot)又被稱作Spider、Worm或Random，核心目的是為獲取Intemet上的信息。一般定義為「一個在網路上檢索文件且自動跟蹤該文件的超文本結構並循環檢索被參照的所有文件的軟體」。機器人利用主頁中的超文本鏈接遍歷WWW，通過U趾引用從一個HT2LIL文檔爬行到另一個HTML文檔。網上機器人收集到的信息可有多種用途，如建立索引、HIML文件合法性的驗證、uRL鏈接點驗證與確認、監控與獲取更新信息、站點鏡像等。
機器人安在網上爬行，因此需要建立一個URL列表來記錄訪問的軌跡。它使用超文本，指向其他文檔的URL是隱藏在文檔中，需要從中分析提取URL，機器人一般都用於生成索引資料庫。所有WWW的搜索程序都有如下的工作步驟：
(1)機器人從起始URL列表中取出URL並從網上讀取其指向的內容；
(2)從每一個文檔中提取某些信息(如關鍵字)並放入索引資料庫中；
(3)從文檔中提取指向其他文檔的URL，並加入到URL列表中；
(4)重復上述3個步驟，直到再沒有新的URL出現或超出了某些限制(時間或磁碟空間)；
(5)給索引資料庫加上檢索介面，向網上用戶發布或提供給用戶檢索。
搜索演算法一般有深度優先和廣度優先兩種基本的搜索策略。機器人以URL列表存取的方式決定搜索策略：先進先出，則形成廣度優先搜索，當起始列表包含有大量的WWW伺服器地址時，廣度優先搜索將產生一個很好的初始結果，但很難深入到伺服器中去；先進後出，則形成深度優先搜索，這樣能產生較好的文檔分布，更容易發現文檔的結構，即找到最大數目的交叉引用。也可以採用遍歷搜索的方法，就是直接將32位的IP地址變化，逐個搜索整個Intemet。
搜索引擎是一個技術含量很高的網路應用系統。它包括網路技術、資料庫技術動標引技術、檢索技術、自動分類技術，機器學習等人工智慧技術。
2．索引技術
索引技術是搜索引擎的核心技術之一。搜索引擎要對所收集到的信息進行整理、分類、索引以產生索引庫，而中文搜索引擎的核心是分詞技術。分詞技術是利用一定的規則和詞庫，切分出一個句子中的詞，為自動索引做好准備。目前的索引多採用Non—clustered方法，該技術和語言文字的學問有很大的關系，具體有如下幾點：
(1)存儲語法庫，和詞彙庫配合分出句子中的詞彙；
(2)存儲詞彙庫，要同時存儲詞彙的使用頻率和常見搭配方式；
(3)詞彙寬，應可劃分為不同的專業庫，以便於處理專業文獻；
(4)對無法分詞的句子，把每個字當作詞來處理。
索引器生成從關鍵詞到URL的關系索引表。索引表一般使用某種形式的倒排表(1nversionUst)，即由索引項查找相應的URL。索引表也要記錄索引項在文檔中出現的位置，以便檢索器計算索引項之間的相鄰關系或接近關系，並以特定的數據結構存儲在硬碟上。
不同的搜索引擎系統可能採用不盡相同的標引方法。例如Webcrawler利用全文檢索技術，對網頁中每一個單詞進行索引；Lycos只對頁名、標題以及最重要的100個注釋詞等選擇性詞語進行索引；Infoseek則提供概念檢索和片語檢索，支持and、or、near、not等布爾運算。檢索引擎的索引方法大致可分為自動索引、手工索引和用戶登錄三類。
3. 檢索器與結果處理技術
檢索器的主要功能是根據用戶輸入的關鍵詞在索引器形成的倒排表中進行檢索，同時完成頁面與檢索之間的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。
通過搜索引擎獲得的檢索結果往往成百上千，為了得到有用的信息，常用的方法是按網頁的重要性或相關性給網頁評級，進行相關性排序。這里的相關度是指搜索關鍵字在文檔中出現的額度。當額度越高時，則認為該文檔的相關程度越高。能見度也是常用的衡量標准之一。一個網頁的能見度是指該網頁入口超級鏈接的數目。能見度方法是基於這樣的觀點：一個網頁被其他網頁引用得越多，則該網頁就越有價值。特別地，一個網頁被越重要的網頁所引用，則該網頁的重要程度也就越高。結果處理技術可歸納為：
(1)按頻次排定次序 通常，如果一個頁麵包含了越多的關鍵詞，其搜索目標的相關性應該越好，這是非常合平常理的解決方案。
(2)按頁面被訪問度排序 在這種方法中，搜索引擎會記錄它所搜索到的頁面被訪問的頻率。人們訪問較多的頁面通常應該包含比較多的信息，或者有其他吸引入的長處。這種解決方案適合一般的搜索用戶，而因為大部分的搜索引擎都不是專業性用戶，所以這種方案也比較適合一般搜索引擎使用。
(3)二次檢索 進一步凈化(比flne)結果，按照一定的條件對搜索結果進行優化，可以再選擇類別、相關詞進行二次搜索等。
由於目前的搜索引擎還不具備智能，除非知道要查找的文檔的標題，否則排列第一的結果未必是「最好」的結果。所以有些文檔盡管相關程度高，但並不一定是用戶最需要的文檔。
搜索引擎技術的行業應用：
搜索引擎的行業應用一般指類似於千瓦通信提供的多種搜索引擎行業與產品應用模式，大體上分為如下幾種形式：
1、 政府機關行業應用
n 實時跟蹤、採集與業務工作相關的信息來源。
n 全面滿足內部工作人員對互聯網信息的全局觀測需求。
n 及時解決政務外網、政務內網的信息源問題，實現動態發布。
n 快速解決政府主網站對各地級子網站的信息獲取需求。
n 全面整合信息，實現政府內部跨地區、跨部門的信息資源共享與有效溝通。
n 節約信息採集的人力、物力、時間，提高辦公效率。
2、企業行業應用
n 實時准確地監控、追蹤競爭對手動態，是企業獲取競爭情報的利器。
n 及時獲取競爭對手的公開信息以便研究同行業的發展與市場需求。
n 為企業決策部門和管理層提供便捷、多途徑的企業戰略決策工具。
n 大幅度地提高企業獲取、利用情報的效率，節省情報信息收集、存儲、挖掘的相關費用，是提高企業核心競爭力的關鍵。
n 提高企業整體分析研究能力、市場快速反應能力，建立起以知識管理為核心的競爭情報數據倉庫，是提高企業核心競爭力的神經中樞。
3、新聞媒體行業應用
n 快速准確地自動跟蹤、採集數千家網路媒體信息，擴大新聞線索，提高採集速度。
n 支持每天對數萬條新聞進行有效抓取。監控范圍的深度、廣度可以自行設定。
n 支持對所需內容智能提取、審核。
n 實現互聯網信息內容採集、瀏覽、編輯、管理、發布的一體化。
4、 行業網站應用
n 實時跟蹤、採集與網站相關的信息來源。
n 及時跟蹤行業的信息來源網站，自動，快速更新網站信息。動態更新信息。
n 實現互聯網信息內容採集、瀏覽、編輯、管理、發布的一體化。
n 針對商務網站提出商務管理模式，大大提高行業網站的商務應用需求。
n 針對資訊網站分類目錄生成，提出用戶生成網站分類結構。並可以實時增加與更新分類結構。不受級數限制。從而大大利高行業的應用性。
n 提供搜索引擎SEO優化專業服務，快速提高行業網站的推廣。
n 提供與CCDC呼叫搜索引擎的廣告合作。建立行業網站聯盟，提高行業網站知名度。
5) 網路信息監察與監控
n 網路輿情系統。如「千瓦通信-網路輿情雷達監測系統」
n 網站信息與內容監察與監控系統，如「千瓦通信-網站信息與內容監測與監察系統（站內神探）」
隨著網際網路的迅猛發展、WEB信息的增加，用戶要在信息海洋里查找信息，就象大海撈
針一樣，搜索引擎技術恰好解決了這一難題（它可以為用戶提供信息檢索服務）。目前，
搜索引擎技術正成為計算機工業界和學術界爭相研究、開發的對象。
搜索引擎（Search Engine）是隨著WEB信息的迅速增加，從1995年開始逐漸發展起來
的技術。據發表在《科學》雜志1999年7月的文章《WEB信息的可訪問性》估計，全球目前
的網頁超過8億，有效數據超過9T，並且仍以每4個月翻一番的速度增長。用戶要在如此浩
瀚的信息海洋里尋找信息，必然會"大海撈針"無功而返。搜索引擎正是為了解決這個"迷航
"問題而出現的技術。搜索引擎以一定的策略在互聯網中搜集、發現信息，對信息進行理解
、提取、組織和處理，並為用戶提供檢索服務，從而起到信息導航的目的。搜索引擎提供
的導航服務已經成為互聯網上非常重要的網路服務，搜索引擎站點也被美譽為"網路門戶"
。搜索引擎技術因而成為計算機工業界和學術界爭相研究、開發的對象。本文旨在對搜索
引擎的關鍵技術進行簡單的介紹，以起到拋磚引玉的作用。

分 類

按照信息搜集方法和服務提供方式的不同，搜索引擎系統可以分為三大類：
1．目錄式搜索引擎：以人工方式或半自動方式搜集信息，由編輯員查看信息之後，人
工形成信息摘要，並將信息置於事先確定的分類框架中。信息大多面向網站，提供目錄瀏
覽服務和直接檢索服務。該類搜索引擎因為加入了人的智能，所以信息准確、導航質量高
，缺點是需要人工介入、維護量大、信息量少、信息更新不及時。這類搜索引擎的代表是
：Yahoo、LookSmart、Open Directory、Go Guide等。
2．機器人搜索引擎：由一個稱為蜘蛛（Spider）的機器人程序以某種策略自動地在互
聯網中搜集和發現信息，由索引器為搜集到的信息建立索引，由檢索器根據用戶的查詢輸
入檢索索引庫，並將查詢結果返回給用戶。服務方式是面向網頁的全文檢索服務。該類搜
索引擎的優點是信息量大、更新及時、毋需人工干預，缺點是返回信息過多，有很多無關
信息，用戶必須從結果中進行篩選。這類搜索引擎的代表是：AltaVista、Northern Ligh
t、Excite、Infoseek、Inktomi、FAST、Lycos、Google；國內代表為："天網"、悠遊、O
penFind等。
3．元搜索引擎：這類搜索引擎沒有自己的數據，而是將用戶的查詢請求同時向多個搜
索引擎遞交，將返回的結果進行重復排除、重新排序等處理後，作為自己的結果返回給用
戶。服務方式為面向網頁的全文檢索。這類搜索引擎的優點是返回結果的信息量更大、更
全，缺點是不能夠充分使用所使用搜索引擎的功能，用戶需要做更多的篩選。這類搜索引
擎的代表是WebCrawler、InfoMarket等。

性 能 指 標
我們可以將WEB信息的搜索看作一個信息檢索問題，即在由WEB網頁組成的文檔庫中檢索
出與用戶查詢相關的文檔。所以我們可以用衡量傳統信息檢索系統的性能參數-召回率（R
ecall）和精度（Pricision）衡量一個搜索引擎的性能。
召回率是檢索出的相關文檔數和文檔庫中所有的相關文檔數的比率，衡量的是檢索系
統（搜索引擎）的查全率；精度是檢索出的相關文檔數與檢索出的文檔總數的比率，衡量
的是檢索系統（搜索引擎）的查准率。對於一個檢索系統來講，召回率和精度不可能兩全
其美：召回率高時，精度低，精度高時，召回率低。所以常常用11種召回率下11種精度的
平均值（即11點平均精度）來衡量一個檢索系統的精度。對於搜索引擎系統來講，因為沒
有一個搜索引擎系統能夠搜集到所有的WEB網頁，所以召回率很難計算。目前的搜索引擎系
統都非常關心精度。
影響一個搜索引擎系統的性能有很多因素，最主要的是信息檢索模型，包括文檔和查詢
的表示方法、評價文檔和用戶查詢相關性的匹配策略、查詢結果的排序方法和用戶進行相
關度反饋的機制。

主 要 技 術
一個搜索引擎由搜索器、索引器、檢索器和用戶介面等四個部分組成。
1.搜索器
搜索器的功能是在互聯網中漫遊，發現和搜集信息。它常常是一個計算機程序，日夜
不停地運行。它要盡可能多、盡可能快地搜集各種類型的新信息，同時因為互聯網上的信
息更新很快，所以還要定期更新已經搜集過的舊信息，以避免死連接和無效連接。目前有
兩種搜集信息的策略：
● 從一個起始URL集合開始，順著這些URL中的超鏈（Hyperlink），以寬度優先、深
度優先或啟發式方式循環地在互聯網中發現信息。這些起始URL可以是任意的URL，但常常
是一些非常流行、包含很多鏈接的站點（如Yahoo！）。
● 將Web空間按照域名、IP地址或國家域名劃分，每個搜索器負責一個子空間的窮盡
搜索。 搜索器搜集的信息類型多種多樣，包括HTML、XML、Newsgroup文章、FTP文件、
字處理文檔、多媒體信息。 搜索器的實現常常用分布式、並行計算技術，以提高信息
發現和更新的速度。商業搜索引擎的信息發現可以達到每天幾百萬網頁。
2.索引器
索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用於表示文檔以及生
成文檔庫的索引表。
索引項有客觀索引項和內容索引項兩種：客觀項與文檔的語意內容無關，如作者名、
URL、更新時間、編碼、長度、鏈接流行度（Link Popularity）等等；內容索引項是用來
反映文檔內容的，如關鍵詞及其權重、短語、單字等等。內容索引項可以分為單索引項和
多索引項（或稱短語索引項）兩種。單索引項對於英文來講是英語單詞，比較容易提取，
因為單詞之間有天然的分隔符（空格）；對於中文等連續書寫的語言，必須進行詞語的切
分。 在搜索引擎中，一般要給單索引項賦與一個權值，以表示該索引項對文檔的區分
度，同時用來計算查詢結果的相關度。使用的方法一般有統計法、資訊理論法和概率法。短
語索引項的提取方法有統計法、概率法和語言學法。
索引表一般使用某種形式的倒排表（Inversion List），即由索引項查找相應的文檔
。索引表也可能要記錄索引項在文檔中出現的位置，以便檢索器計算索引項之間的相鄰或
接近關系（proximity）。
索引器可以使用集中式索引演算法或分布式索引演算法。當數據量很大時，必須實現即時
索引（Instant Indexing），否則不能夠跟上信息量急劇增加的速度。索引演算法對索引器
的性能（如大規模峰值查詢時的響應速度）有很大的影響。一個搜索引擎的有效性在很大
程度上取決於索引的質量。
3.檢索器 檢索器的功能是根據用戶的查詢在索引庫中快速檢出文檔，進行文檔與
查詢的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。
檢索器常用的信息檢索模型有集合理論模型、代數模型、概率模型和混合模型四種。
4.用戶介面
用戶介面的作用是輸入用戶查詢、顯示查詢結果、提供用戶相關性反饋機制。主要的
目的是方便用戶使用搜索引擎，高效率、多方式地從搜索引擎中得到有效、及時的信息。
用戶介面的設計和實現使用人機交互的理論和方法，以充分適應人類的思維習慣。
用戶輸入介面可以分為簡單介面和復雜介面兩種。
簡單介面只提供用戶輸入查詢串的文本框；復雜介面可以讓用戶對查詢進行限制，如
邏輯運算（與、或、非；+、-）、相近關系（相鄰、NEAR）、域名范圍（如.e、.com）
、出現位置（如標題、內容）、信息時間、長度等等。目前一些公司和機構正在考慮制定
查詢選項的標准。

未 來 動 向
搜索引擎已成為一個新的研究、開發領域。因為它要用到信息檢索、人工智慧、計算
機網路、分布式處理、資料庫、數據挖掘、數字圖書館、自然語言處理等多領域的理論和
技術，所以具有綜合性和挑戰性。又由於搜索引擎有大量的用戶，有很好的經濟價值，所
以引起了世界各國計算機科學界和信息產業界的高度關注，目前的研究、開發十分活躍，
並出現了很多值得注意的動向。
1.十分注意提高信息查詢結果的精度，提高檢索的有效性 用戶在搜索引擎上進行
信息查詢時，並不十分關注返回結果的多少，而是看結果是否和自己的需求吻合。對於一
個查詢，傳統的搜索引擎動輒返回幾十萬、幾百萬篇文檔，用戶不得不在結果中篩選。解
決查詢結果過多的現象目前出現了幾種方法：一是通過各種方法獲得用戶沒有在查詢語句
中表達出來的真正用途，包括使用智能代理跟蹤用戶檢索行為，分析用戶模型；使用相關
度反饋機制，使用戶告訴搜索引擎哪些文檔和自己的需求相關（及其相關的程度），哪些
不相關，通過多次交互逐步求精。二是用正文分類（Text Categorization）技術將結果分
類，使用可視化技術顯示分類結構，用戶可以只瀏覽自己感興趣的類別。三是進行站點類
聚或內容類聚，減少信息的總量。
2.基於智能代理的信息過濾和個性化服務
信息智能代理是另外一種利用互聯網信息的機制。它使用自動獲得的領域模型（如We
b知識、信息處理、與用戶興趣相關的信息資源、領域組織結構）、用戶模型（如用戶背景
、興趣、行為、風格）知識進行信息搜集、索引、過濾（包括興趣過濾和不良信息過濾）
，並自動地將用戶感興趣的、對用戶有用的信息提交給用戶。智能代理具有不斷學習、適
應信息和用戶興趣動態變化的能力，從而提供個性化的服務。智能代理可以在用戶端進行
，也可以在伺服器端運行。
3.採用分布式體系結構提高系統規模和性能
搜索引擎的實現可以採用集中式體系結構和分布式體系結構，兩種方法各有千秋。但
當系統規模到達一定程度（如網頁數達到億級）時，必然要採用某種分布式方法，以提高
系統性能。搜索引擎的各個組成部分，除了用戶介面之外，都可以進行分布：搜索器可以
在多台機器上相互合作、相互分工進行信息發現，以提高信息發現和更新速度；索引器可
以將索引分布在不同的機器上，以減小索引對機器的要求；檢索器可以在不同的機器上

⑵ 百度搜索引擎的核心技術是什麼

核心技術：超鏈分析
超鏈分析技術，是新一代搜索引擎的關鍵技術，已為世界各大搜索引擎普遍採用，網路總裁李彥宏就是超鏈分析專利的唯一持有人。在學術界，一篇論文被引用得越多就說明其越好，學術價值就越高。超鏈分析就是通過分析鏈接網站的多少來評價被鏈接的網站質量，這保證了用戶在網路搜索時，越受用戶歡迎的內容排名越靠前。

⑶ 搜索引擎技術採用什麼方式幫助用戶查找信息

找到准確、廣泛的信息。對搜集器抓來的網頁信息快速地建立索引，通常採用倒排表技術。如果在建立索引庫的過程中對用戶在檢索端搜索的查詢串進行跟蹤。運用特定策略從互聯網檢索出制定信息反饋給用戶的一門檢索技術。

搜索引擎依託於多種技術，如網路爬蟲技術、檢索排序技術、網頁處理技術、大數據處理技術、自然語言處理技術等，為信息檢索用戶提供快速、高相關性的信息服務。搜索引擎技術的核心模塊一般包括爬蟲、索引、檢索和排序等，同時可添加其他一系列輔助模塊，以為用戶創造更好的網路使用環境。

相關信息

在搜索引擎界面輸入關鍵詞，點擊「搜索」按鈕之後，搜索引擎程序開始對搜索詞進行以下處理：分詞處理、根據情況對整合搜索是否需要啟動進行判斷、找出錯別字和拼寫中出現的錯誤、把停止詞去掉。接著搜索引擎程序便把包含搜索詞的相關網頁從索引資料庫中找出。

而且對網頁進行排序，最後按照一定格式返回到「搜索」頁面。查詢服務最核心的部分是搜索結果排序，其決定了搜索引擎的量好壞及用戶滿意度。實際搜索結果排序的因子很多，但最主要的因素之一是網頁內容的相關度。

⑷ 全文搜索引擎的採用的技術

目前全文搜索引擎通常使用倒排索引技術。倒排索引（英語：Inverted index），也常被稱為反向索引、置入檔案或反向檔案，是一種索引方法，被用來存儲在全文搜索下某個單詞在一個文檔或者一組文檔中的存儲位置的映射。它是文檔檢索系統中最常用的數據結構。
有兩種不同的反向索引形式：
一條記錄的水平反向索引（或者反向檔案索引）包含每個引用單詞的文檔的列表。 一個單詞的水平反向索引（或者完全反向索引）又包含每個單詞在一個文檔中的位置。[1] 後者的形式提供了更多的兼容性（比如短語搜索），但是需要更多的時間和空間來創建。

⑸ SEO優化需要具備哪些技術能力

SEO優化應具備以下能力：
1、熟悉SEO規則、搜索引擎的演算法機制。
2、懂得分析數據、分析網路統計、網路指數數據。如果可以的話也可以通過網路推廣其他的統計渠道獲取數據。
3、懂得一些用戶體驗、用戶心理學的研究。知道怎麼去布局網站。因為數據並非真正用戶，只有懂得用戶了。你可以進一步和業務部門協商做好公司的業績。
4、懂得基本的網站程序，例如asp、php簡單的html。在設計草案時候以及和部門員工協調工作時候要用到。
5、培訓和培養編輯、統計人員、外鏈人員方面技能。
6、能夠給合理分配工作和制定周工作計劃和考核相關人員。
7、做策劃規劃以及發現最新的演算法和互聯網最新動態，做出創意。

⑹ 搜索引擎是用什麼技術進行搜索的

分類: 教育/科學 >> 院校信息
問題描述:

各大搜索引擎是用什麼技術進行搜索的？

菜鳥問，請詳答，謝謝

解析:

10月28日 19:56 搜索引擎起源於傳統的信息全文檢索理論。它包括3個主要過程：

1)搜集Web信息：發現、搜集Web上的網頁信息。需要有高性能的搜集器自動的在Web中搜索

信息。Web信息搜集器是下載Web上網頁的程序。它順著網頁之間的鏈接移動，自動地下載

所經過的網頁。給定起始URL *** S，Web搜集器不停的從S中移除URL，下載相應的網頁，解

析出網頁中的超鏈接URL，將未訪問過的URL加入 *** S。Web搜集器也稱作Web機器人或Web

蜘蛛。搜集器把所獲得的信息保存下來以備建立索引庫，供用戶檢索。

2)索引庫的建立：對搜集到的Web信息提取和組織，建立索引庫。這關繫到用戶能否迅速地

找到准確、廣泛的信息。對搜集器抓來的網頁信息快速地建立索引，通常採用倒排表技術

。如果在建立索引庫的過程中對用戶在檢索端搜索的查詢串進行跟蹤，並對查詢頻率高的

查詢串建立Cache，可以在檢索端請求時，加快索引庫的響應速度。

3)檢索端的查詢：根據用戶輸入的查詢字串，在索引庫中快速檢索出文檔。採用基於網頁

內容分析和基於超鏈分析相結合的方法進行相關度評價，客觀地對檢索出的網頁進行排序

，從而盡量保證搜索出的結果與用戶的查詢串相一致。然後將輸出的結果返回給用戶。為

了加快檢索端的響應速度，可以根據最近用戶查詢信息建立檢索端Cache。

針對你的問題：看來你是沒有建索引文件，關鍵詞來了現到資料庫匹配，當然慢。

索引文件是不需要資料庫保存的，利用倒排表建好每個詞的索引網頁，查詢的時候幾乎是

一下命中，當然在秒級下完成了。

⑺ 搜索引擎包含那些技術

爬蟲（採集）、切詞（分詞）、索引（存儲）、查詢以及其他相關技術

⑻ 目錄搜索引擎的主要技術

一個搜索引擎由搜索器、索引器、檢索器和用戶介面等四個部分組成。 搜索器的功能是在互聯網中漫遊，發現和搜集信息。它常常是一個計算機程序，日夜不停地運行。它要盡可能多、盡可能快地搜集各種類型的新信息，同時因為互聯網上的信息更新很快，所以還要定期更新已經搜集過的舊信息，以避免死連接和無效連接。目前有兩種搜集信息的策略：
● 從一個起始URL集合開始，順著這些URL中的超鏈（Hyperlink），以寬度優先、深度優先或啟發式方式循環地在互聯網中發現信息。這些起始URL可以是任意的URL，但常常是一些非常流行、包含很多鏈接的站點（如Yahoo！）。
● 將Web空間按照域名、IP地址或國家域名劃分，每個搜索器負責一個子空間的窮盡搜索。
搜索器搜集的信息類型多種多樣，包括HTML、XML、Newsgroup文章、FTP文件、字處理文檔、多媒體信息。
搜索器的實現常常用分布式、並行計算技術，以提高信息發現和更新的速度。商業搜索引擎的信息發現可以達到每天幾百萬網頁。 索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用於表示文檔以及生成文檔庫的索引表。
索引項有客觀索引項和內容索引項兩種：客觀項與文檔的語意內容無關，如作者名、URL、更新時間、編碼、長度、鏈接流行度（Link Popularity）等等；內容索引項是用來反映文檔內容的，如關鍵詞及其權重、短語、單字等等。內容索引項可以分為單索引項和多索引項（或稱短語索引項）兩種。單索引項對於英文來講是英語單詞，比較容易提取，因為單詞之間有天然的分隔符（空格）；對於中文等連續書寫的語言，必須進行詞語的切分。
在搜索引擎中，一般要給單索引項賦與一個權值，以表示該索引項對文檔的區分度，同時用來計算查詢結果的相關度。使用的方法一般有統計法、資訊理論法和概率法。短語索引項的提取方法有統計法、概率法和語言學法。
索引表一般使用某種形式的倒排表（Inversion List），即由索引項查找相應的文檔。索引表也可能要記錄索引項在文檔中出現的位置，以便檢索器計算索引項之間的相鄰或接近關系（proximity）。
索引器可以使用集中式索引演算法或分布式索引演算法。當數據量很大時，必須實現即時索引（Instant Indexing），否則不能夠跟上信息量急劇增加的速度。索引演算法對索引器的性能（如大規模峰值查詢時的響應速度）有很大的影響。一個搜索引擎的有效性在很大程度上取決於索引的質量。 檢索器的功能是根據用戶的查詢在索引庫中快速檢出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。
檢索器常用的信息檢索模型有集合理論模型、代數模型、概率模型和混合模型四種。
4.用戶介面
用戶介面的作用是輸入用戶查詢、顯示查詢結果、提供用戶相關性反饋機制。主要的目的是方便用戶使用搜索引擎，高效率、多方式地從搜索引擎中得到有效、及時的信息。用戶介面的設計和實現使用人機交互的理論和方法，以充分適應人類的思維習慣。 用戶輸入介面可以分為簡單介面和復雜介面兩種。
簡單介面只提供用戶輸入查詢串的文本框；復雜介面可以讓用戶對查詢進行限制，如邏輯運算（與、或、非；+、-）、相近關系（相鄰、NEAR）、域名范圍（如.e、.com）、出現位置（如標題、內容）、信息時間、長度等等。一些公司和機構正在考慮制定查詢選項的標准。 首先，搜索引擎屬於自動網站檢索，而目錄索引則完全依賴手工操作。用戶提交網站後，目錄編輯人員會親自瀏覽你的網站，然後根據一套自定的評判標准甚至編輯人員的主觀印象，決定是否接納你的網站。
其次，搜索引擎收錄網站時，只要網站本身沒有違反有關的規則，一般都能登錄成功。而目錄索引對網站的要求則高得多，有時即使登錄多次也不一定成功。尤其象Yahoo這樣的超級索引，登錄更是困難。
此外，在登錄搜索引擎時，我們一般不用考慮網站的分類問題，而登錄目錄索引時則必須將網站放在一個最合適的目錄（Directory）。
最後，搜索引擎中各網站的有關信息都是從用戶網頁中自動提取的，所以用戶的角度看，我們擁有更多的自主權；而目錄索引則要求必須手工另外填寫網站信息，而且還有各種各樣的限制。更有甚者，如果工作人員認為你提交網站的目錄、網站信息不合適，他可以隨時對其進行調整，當然事先是不會和你商量的。
目錄索引，顧名思義就是將網站分門別類地存放在相應的目錄中，因此用戶在查詢信息時，可選擇關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟搜索引擎一樣，也是根據信息關聯程度排列網站，只不過其中人為因素要多一些。如果按分層目錄查找，某一目錄中網站的排名則是由標題字母的先後順序決定（也有例外）。

⑼ 做SEO需要具備哪些技術能力

1.掌握前端代碼的知識，即HTML，DIV+CSS，JavaScript。

2.熟悉流行的開發語言，如PHP。

3.了解一般伺服器，如Apache、nginx、IIS。

4.熟練運用車站建設程序，如編織cms、WordPress、帝國cms、z博客等。

5.編輯技巧。各種SEO報告、優化方案、原創文章，都需要有良好的寫作技巧，總之，沒有Seoer的寫作能力是不合格的。

6.良好的溝通技巧。在公司里有各種各樣的人，良好的溝通技巧可以使你的工作順利順利，具備相關的技術技能和溝通技巧，能讓你有能力與各種人打交道，在提交需求時，別人不能愚弄你，無限期地拖延你的需要。

7.數據分析能力。不要驚訝，SEO有很多數據要做分析，例如：SEO周報、網站日誌、關鍵詞報告、項目進度報告、流量升降分析等，沒有扎實的數據分析能力是不可能的。當然，你必須有數據分析，從現在開始，要注意在網站上收集SEO數據。

8.探索和自學能力。具有較強的探索精神和較強的自學能力，從搜索引擎上發表的一些演算法是非常重要的。

⑽ 做一個簡單的搜索引擎，需要哪些知識和技術

去年專業實訓我做了一個簡單的搜索引擎，所以可以簡單說下框架。
搜索引擎分為三大塊：下載，索引，搜索。
下載：
這部分是需要把你想要搜索的范圍的原始數據。如果搜索的范疇是網頁上的內容，那麼它就是一個網路爬蟲。我當時做的是一個校內網的搜索引擎，所以就寫了一個爬蟲從校園網主頁開始下載，分析網頁內的鏈接把符合要求的鏈接加入待下載隊列，這樣一直把所有校園網的網頁全部都下載下來。

索引
搜索引擎之所以可以搜的那麼快，都是索引的功勞。索引是一種專門針對搜索優化的結構，詳情可以網路 倒排索引 。
前面搜索下載的是網頁全文，裡面的html標簽是不需要被搜索的，所以要把數據清洗一下，提取出其中的重要內容。
文本內容的預處理還需要分詞 、去除無意義的停用詞等。分詞是什麼呢…你還是網路吧
建立索引有現成的庫：LUCENE ，它自帶有幾個默認分詞器，如果想要你的搜索引擎搜索的結果更好，你可以使用的中文分詞器（這個當然也有現成的工具啦，ik分詞，NLPIR這些都是現有的解決方案，效果也還不錯）如果之前沒有接觸過它，那就需要學習一下。

索引建立好了，接下來就是搜索了。搜索是將根據查詢詞，搜索索引內匹配的內容，然後展示出來。符合查詢詞的結果多了的時候怎麼辦呢，這就涉及到排序的問題，這就有點復雜啦，這就涉及到很多排序演算法比如tfidf之類的東西，不過這些lucene的api也幫你做了，它的內部有一個打分機制，將打分高放在搜索結果的前面。

以上三個點，每一個地方如果要展開，都可以寫一部小書了，根據題主情況選擇了解學習。
說了以上，如果你只是想實現一個小文本量的檢索功能，select * from xxx like ...就可以滿足你的需求。