通過上一篇內容《搜索引擎工作原理之收錄預處理》,我們知道搜索引擎蜘蛛在爬行和抓取網頁的時候進行了提取文字信息,分詞,去噪,去重,最后便得到了一個關于頁面主題的關鍵詞集合,接下來搜索引擎會對這個集合進行正向索引,即把每個頁面中的多個關鍵詞和頁面建立對應關系,并且同時會對這些關鍵詞記錄它們的密度,頻率,表現格式等權重信息,表現格式主要是分析這些關鍵詞是否使用了H1標簽,是否使用了粗體或顏色變化,是否出現在了頁面的title,description,keywords標簽等權重標簽。
當這個正向索引關鍵詞集合建立起來以后,依然不能用來進行排名計算,如果用戶在搜索引擎中輸入關鍵詞,那么搜索引擎需要在這個集合中先找見關鍵詞,然后再找出與關鍵詞對應的頁面,最后通過進行復雜的計算程序得出排名,顯然這個運算過程在短時間內是難以完成的。為了提高用戶搜索信息能實時返回結果,搜索引擎會對上面得到的正向索引信息進行反向索引,即以關鍵詞為單位,把跟它對應的頁面放入同一個集合中,這樣在用戶搜索關鍵詞進行排序的時候,搜索引擎只要找到匹配的關鍵詞就能返回包含這個關鍵詞的頁面集合,當搜索引擎預處理工作進行到這里時,大家是不是對它的工作原理已經有點明朗了。
當搜索引擎進行反向索引之后,還需要計算大量的相關信息才能對頁面做出排名,在這個過程中最為關鍵的就是計算頁面的鏈接關系,比如有哪些頁面通過鏈接導入這個頁面,這個頁面導出了哪些鏈接,鏈接的錨文本采用了哪些關鍵詞等等,這個運算量是非常龐大的。關于計算鏈接關系,google的PR值就是這種鏈接關系的一種體現。
除了對html文件進行索引外,搜索引擎還能對其他形式的文件進行索引,比如常見的TXT,PPT,WORD,PDF文件等,雖然現在搜索引擎對圖片,Flash動畫,視頻的索引能力大大增強,但是跟索引html文件能力比起來,還是有一段距離的,所以大家在網站中放置一些圖片,動畫或者視頻的時候,最好配上文字說明,為搜索引擎蜘蛛做出引導,減輕它的工作壓力。