首頁(yè) 資訊主流網(wǎng)頁(yè)過(guò)濾方法剖析

主流網(wǎng)頁(yè)過(guò)濾方法剖析

來(lái)源：泰然健康網(wǎng) 時(shí)間：2025年05月10日 16:03

　　網(wǎng)頁(yè)過(guò)濾(Web Filtering)已經(jīng)不是一個(gè)新鮮名詞，由于互聯(lián)網(wǎng)的蓬勃發(fā)展，網(wǎng)上的信息資源開始到處泛濫，而其中不乏很多不良信息，于是人們開始探尋各種過(guò)濾信息的技術(shù)手段，以扼制不良信息的傳播，保護(hù)特定人群不受惡意信息的侵?jǐn)_，例如保護(hù)企業(yè)內(nèi)員工不受購(gòu)物、娛樂(lè)等信息侵?jǐn)_，而影響工作效率;保護(hù)青少年不受色情、暴力等信息毒害，而健康成長(zhǎng);因此網(wǎng)頁(yè)過(guò)濾技術(shù)應(yīng)運(yùn)而生，而由此衍生的內(nèi)容安全市場(chǎng)也在飛速發(fā)展，國(guó)內(nèi)外眾多網(wǎng)絡(luò)設(shè)備廠商開始涉足該領(lǐng)域。例如國(guó)外廠商有Websense、BlueCoat、8e6等，國(guó)內(nèi)廠商有網(wǎng)康科技、新網(wǎng)程、任子行等。

　　目前，網(wǎng)頁(yè)過(guò)濾技術(shù)正向兩個(gè)主要方向發(fā)展：

　　1.內(nèi)容實(shí)時(shí)分析;

　　2.Url過(guò)濾。

　　內(nèi)容實(shí)時(shí)分析過(guò)濾是指在訪問(wèn)Web內(nèi)容時(shí)，對(duì)內(nèi)容進(jìn)行實(shí)時(shí)掃描，根據(jù)已知的敏感關(guān)鍵字/詞、圖片和頁(yè)面構(gòu)成特點(diǎn)，分析是否含有禁止訪問(wèn)的內(nèi)容。這是最有效的控制方法，只要建立一個(gè)足夠完全的關(guān)鍵字庫(kù)就可以完全杜絕對(duì)不良信息的訪問(wèn)。

　　但是，應(yīng)用內(nèi)容實(shí)時(shí)分析過(guò)濾技術(shù)卻受到網(wǎng)絡(luò)延遲、法律法規(guī)、文化道德、維護(hù)更新等多方面因素的限制。首先，該類產(chǎn)品對(duì)分析算法要求很高，并且要有相應(yīng)運(yùn)算能力的設(shè)備支持，否則在遇到大量數(shù)據(jù)分析時(shí)可能會(huì)造成嚴(yán)重的網(wǎng)絡(luò)延遲、誤判漏判等問(wèn)題。其次，此類產(chǎn)品需要人工維護(hù)更新一個(gè)龐大的關(guān)鍵字?jǐn)?shù)據(jù)庫(kù)，不斷將新的禁止訪問(wèn)的內(nèi)容關(guān)鍵字添加進(jìn)去，但是對(duì)內(nèi)容的分析需要跟文化、法律、宗教信仰等多方面結(jié)合起來(lái)評(píng)判，因?yàn)椴煌貐^(qū)、不同文化、不同法律對(duì)信息良莠的定義都不相同，特別是在中國(guó)，一個(gè)詞可以用多音字、諧音字、拼音字母等多種方式表現(xiàn)，為關(guān)鍵字?jǐn)?shù)據(jù)庫(kù)的維護(hù)帶來(lái)了巨大的難度。而這個(gè)維護(hù)更新工作一般是由用戶自己完成，因?yàn)椴煌挠脩魧?duì)需要過(guò)濾的內(nèi)容有不同的需求。還有，內(nèi)容實(shí)時(shí)分析過(guò)濾需要將網(wǎng)頁(yè)內(nèi)容下載到本地才能進(jìn)行分析，對(duì)系統(tǒng)資源和帶寬資源都造成了一定的浪費(fèi)。

　　因此，采用內(nèi)容實(shí)時(shí)分析過(guò)濾技術(shù)的產(chǎn)品不應(yīng)該是一個(gè)全球通用產(chǎn)品，必須做到真正的完全本地化，才能具備為本地用戶服務(wù)的能力。

　　Url過(guò)濾是近幾年才興起的一種網(wǎng)頁(yè)過(guò)濾方法，其原理非常簡(jiǎn)單：通過(guò)對(duì)互聯(lián)網(wǎng)上各種各樣的信息進(jìn)行分類，精確地匹配URL和與之對(duì)應(yīng)的頁(yè)面內(nèi)容，形成一個(gè)預(yù)分類網(wǎng)址庫(kù)。在用戶訪問(wèn)網(wǎng)頁(yè)時(shí)，將要訪問(wèn)的網(wǎng)址與預(yù)分類網(wǎng)址庫(kù)中的地址進(jìn)行對(duì)比，以此來(lái)判斷該網(wǎng)址是否被允許訪問(wèn)。例如我們事先設(shè)定禁止訪問(wèn)色情類網(wǎng)站，當(dāng)某個(gè)用戶想要訪問(wèn)www.XXX.com時(shí)，系統(tǒng)會(huì)對(duì)比該網(wǎng)址在預(yù)分類網(wǎng)址庫(kù)中屬于哪一類?是否被允許訪問(wèn)?從而達(dá)到控制訪問(wèn)的效果。

　　與內(nèi)容實(shí)時(shí)分析過(guò)濾相比，Url過(guò)濾方法具有節(jié)約帶寬，降低訪問(wèn)延遲，減少誤判率的優(yōu)點(diǎn)。但是，Url過(guò)濾方法也存在一定的應(yīng)用限制：首先，采用Url過(guò)濾方法的產(chǎn)品也不能是全球通用產(chǎn)品，這同樣牽扯到法律、文化、宗教等諸多問(wèn)題，例如中西方對(duì)色情和成人的評(píng)定等級(jí)就不相同，這就要求預(yù)分類網(wǎng)址庫(kù)收集、分類必須符合當(dāng)?shù)胤煞ㄒ?guī)、道德文化標(biāo)準(zhǔn)、用戶使用習(xí)慣等。其次，預(yù)分類網(wǎng)址庫(kù)必須實(shí)時(shí)更新，我們知道互聯(lián)網(wǎng)的發(fā)展日新月異，每天都會(huì)有大量的新網(wǎng)站誕生，這就對(duì)采用Url過(guò)濾技術(shù)的產(chǎn)品提出了實(shí)時(shí)更新數(shù)據(jù)庫(kù)的要求。還有，既然采用預(yù)分類的方式過(guò)濾Url，就對(duì)預(yù)分類網(wǎng)址庫(kù)的精確度提出了很高的要求，預(yù)分類的網(wǎng)址不但要數(shù)量龐大，還要具有非常高的分類精確度，才不至于出現(xiàn)誤判、漏判的可能。

　　由于網(wǎng)頁(yè)過(guò)濾與法律、文化、宗教有著很高的相關(guān)性，過(guò)濾技術(shù)的發(fā)展已經(jīng)不能完全滿足用戶的需求。而智能系統(tǒng)對(duì)內(nèi)容的分析判斷總是會(huì)有些偏差，無(wú)論是實(shí)時(shí)的內(nèi)容掃描分析，還是預(yù)分類的Url過(guò)濾方法，都無(wú)法做到100%的準(zhǔn)確判斷。但是完善的本地化服務(wù)卻能彌補(bǔ)先天的不足，只有把用戶的需求和利益放在第一位，為本地用戶提供真正適合的產(chǎn)品和服務(wù)，才能在市場(chǎng)上立足根本。

我們一直都在努力堅(jiān)持原創(chuàng).......請(qǐng)不要一聲不吭，就悄悄拿走。

我原創(chuàng)，你原創(chuàng)，我們的內(nèi)容世界才會(huì)更加精彩！

【所有原創(chuàng)內(nèi)容版權(quán)均屬TechTarget，歡迎大家轉(zhuǎn)發(fā)分享。但未經(jīng)授權(quán)，嚴(yán)禁任何媒體（平面媒體、網(wǎng)絡(luò)媒體、自媒體等）以及微信公眾號(hào)復(fù)制、轉(zhuǎn)載、摘編或以其他方式進(jìn)行使用?！?

微信公眾號(hào)

TechTarget微信公眾號(hào)二維碼