導航:首頁 > 編程語言 > 國外php程序

國外php程序

發布時間:2024-09-24 16:41:49

php搜索引擎蜘蛛程序

推薦一個國外知名度頗高的搜索引擎,含有網頁蜘蛛程序,以前好象有人想要這方面的資料,現在有了,大家可以研究下源碼

官方網站:
http://phpdig.toiletoine.net/

演示:
http://phpdig.toiletoine.net/sea ... te=100&option=start

中文版本和演示,我以前提供過(1.62版本的漢化),2003年11月換空間的時候沒備份,沒了。找下載了的人看看有沒有。

下載:
這是最近(2003年12月)更新的版本的下載(1.65 En):
http://www.phpdig.net/navigation.php?action=download

演示:
http://www.phpdig.net/navigation.php?action=demo

主要功能:
類似google、網路的搜索引擎,php+mysql。

PhpDig is a http spider/search engine written in Php with a MySql database in backend.

HTTP Spidering : PhpDig follows links as it was any web browser within a web server, to build the pages list to index. Links can be in AreaMap, or frames. PhpDig supports relocations. Any syntax of HREF attribute is followed by Phpdig.
PhpDig don't go out the root site you define for the indexing. Spidering depth is choosen by user.
All html content is listed, both static and dynamic pages. PhpDig searches the Mime-Type of the document, or tests existence of an tag at the beginning of it.

支持全文搜索
Full Text indexing : PhpDig indexes all words of a document, excepting small words (less than 3 letters) an common words, those are definded in a text file.
Lone numbers are not inded, but those included in words. Underscores make part of a word.
Occurences of a word in a document is saved. Words in the title can have a more important weight in ranking results.

支持多種格式文件的索引,如pdf
File types wich can be indexed : PhpDig indexes HTML and text files by itself.
PhpDig could index PDF, MS-Word and MS-Excel files if you install external binaries on the spidering machines to this purpose.
To demonstrate the feature, you can search into Hamlet (tragedy, William Shakespeare) in MS-Word format, and L'Avare (comedy, Molière) in Pdf format.

支持robots
Other features : PhpDig Tries to read a robots.txt file at the server root. It searches meta robots tags too.
The Last-Modified header value is stored in the database to avoid rendant indexing. Also the meta revisit-after tag.

可針對特定網站進行全文索引,蜘蛛可1-9個層自動獲取全部url

其中的蜘蛛程序寫得十分好,有興趣的朋友推薦研究下。

希望對你有用!

閱讀全文

與國外php程序相關的資料

熱點內容
光大的app叫什麼 瀏覽:112
單片機excel文檔 瀏覽:973
pdf軟體官方下載中文版 瀏覽:416
儲存空間其他文件夾 瀏覽:390
科技時尚資訊加密貨幣的新崛起 瀏覽:748
易筋洗髓pdf 瀏覽:51
方舟編譯器和ufs3 瀏覽:78
電腦編程入門自學資料 瀏覽:831
vscode文件夾是暗的 瀏覽:876
精品源碼交易靠譜點的平台 瀏覽:290
linux系統後門 瀏覽:411
軟體顯示無法連接到遠程伺服器怎麼辦 瀏覽:918
小衛星鍋加密 瀏覽:208
按鍵手機版熱更新源碼 瀏覽:656
怎麼拷貝加密門禁卡到手機 瀏覽:917
ghost壓縮系統 瀏覽:807
程序員電腦圖片簡筆畫 瀏覽:102
添加uboot命令 瀏覽:632
ue4編譯速度掃描磁碟 瀏覽:827
下載小說和文件夾 瀏覽:139