Ⅰ 我的電腦為什麼所有的手游模擬器都沒有網路,改DNS IP都沒用
是電腦老化了,還有去查證一下是不是因為欠費被關網,還是當地線路在維修。
Ⅱ 基於WebCollector開發的爬蟲能夠在android上運行嗎
有些人問,開發網路爬蟲應該選擇Nutch、Crawler4j、WebMagic、scrapy、WebCollector還是其他的?這里按照我的經驗隨便扯淡一下:
上面說的爬蟲,基本可以分3類:
1.分布式爬蟲:Nutch
2.java單機爬蟲:Crawler4j、WebMagic、WebCollector
3. 非JAVA單機爬蟲:scrapy
第一類:分布式爬蟲
爬蟲使用分布式,主要是解決兩個問題:
1)海量URL管理
2)網速
現在比較流行的分布式爬蟲,是Apache的Nutch。但是對於大多數用戶來說,Nutch是這幾類爬蟲里,最不好的選擇,理由如下:
1)Nutch是為搜索引擎設計的爬蟲,大多數用戶是需要一個做精準數據爬取(精抽取)的爬蟲。Nutch運行的一套流程里,有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。也就是說,用Nutch做數據抽取,會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發,來使得它適用於精抽取的業務,基本上就要破壞Nutch的框架,把Nutch改的面目全非,有修改Nutch的能力,真的不如自己重新寫一個分布式爬蟲框架了。
2)Nutch依賴hadoop運行,hadoop本身會消耗很多的時間。如果集群機器數量較少,爬取速度反而不如單機爬蟲快。
3)Nutch雖然有一套插件機制,而且作為亮點宣傳。可以看到一些開源的Nutch插件,提供精抽取的功能。但是開發過Nutch插件的人都知道,Nutch的插件系統有多蹩腳。利用反射的機制來載入和調用插件,使得程序的編寫和調試都變得異常困難,更別說在上面開發一套復雜的精抽取系統了。而且Nutch並沒有為精抽取提供相應的插件掛載點。Nutch的插件有隻有五六個掛載點,而這五六個掛載點都是為了搜索引擎服務的,並沒有為精抽取提供掛載點。大多數Nutch的精抽取插件,都是掛載在「頁面解析」(parser)這個掛載點的,這個掛載點其實是為了解析鏈接(為後續爬取提供URL),以及為搜索引擎提供一些易抽取的網頁信息(網頁的meta信息、text文本)。
4)用Nutch進行爬蟲的二次開發,爬蟲的編寫和調試所需的時間,往往是單機爬蟲所需的十倍時間不止。了解Nutch源碼的學習成本很高,何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題(hadoop的問題、hbase的問題)。
5)很多人說Nutch2有gora,可以持久化數據到avro文件、hbase、mysql等。很多人其實理解錯了,這里說的持久化數據,是指將URL信息(URL管理所需要的數據)存放到avro、hbase、mysql。並不是你要抽取的結構化數據。其實對大多數人來說,URL信息存在哪裡無所謂。
6)Nutch2的版本目前並不適合開發。官方現在穩定的Nutch版本是nutch2.2.1,但是這個版本綁定了gora-0.3。如果想用hbase配合nutch(大多數人用nutch2就是為了用hbase),只能使用0.90版本左右的hbase,相應的就要將hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比較有誤導作用,Nutch2的教程有兩個,分別是Nutch1.x和Nutch2.x,這個Nutch2.x官網上寫的是可以支持到hbase 0.94。但是實際上,這個Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之後的一個版本,這個版本在官方的SVN中不斷更新。而且非常不穩定(一直在修改)。
所以,如果你不是要做搜索引擎,盡量不要選擇Nutch作為爬蟲。有些團隊就喜歡跟風,非要選擇Nutch來開發精抽取的爬蟲,其實是沖著Nutch的名氣(Nutch作者是Doug Cutting),當然最後的結果往往是項目延期完成。
如果你是要做搜索引擎,Nutch1.x是一個非常好的選擇。Nutch1.x和solr或者es配合,就可以構成一套非常強大的搜索引擎了。如果非要用Nutch2的話,建議等到Nutch2.3發布再看。目前的Nutch2是一個非常不穩定的版本。
Ⅲ 用python寫的爬蟲將數據傳給android怎麼實現
初期不需要登錄的網站比較簡單,掌握http get post和urllib怎麼模擬,掌握lxml、BeautifulSoup等parser庫就可以了,多用firefox的firebug或者chrome的調試工具看瀏覽器是怎麼發包的。上面都是不需要登錄不需要下文件就可以做到的。
Ⅳ 超凡蜘蛛俠1安卓版與爬蟲賽跑怎麼過
大致找位置在空中盪就行了,咱們最後停在樓下了,它從樓頂飛過去了
Ⅳ 如何利用安卓手機進行app裡面的爬蟲採集
思路:
開發簡單爬取效率低的辦法找app自動化測試工具直接模擬人操作得到數據
如果對爬起取效率高或者對網路熟,可以用wireshark之類公具分析他的通信協議,是http還是自定義協議,然後偽造請求。
Ⅵ 為什麼 iOS 有那麼多優秀的開源組件,而 Android 反而很少
參考下面 要分清ios和android哪個開源組件多,看看github搜一下就一目瞭然 搜ios得到40938個項目 搜android得到112895個項目搜android得到112895個項目 作為最大的代碼託管網站,github的數據絕對能體現這兩個陣營的代碼開源熱度作為最大的代碼託管網站,github的數據絕對能體現這兩個陣營的代碼開源熱度 所以樓主的問題不成立 【錕斤拷的回答(33票)】: ----------謝邀,晚上來答了---------- 做Android做了大約3年,做的雖然都是描繪Application層的小玩意,但是對整套生態圈應該感覺還是有點小了解;趕腳題主這個問題就有點黑安卓的意思,在看來,這樣的問題和「為什麼C語言要比JAVA快」一樣沒有非常大的實際意義。所以感覺題主從主觀上在做安卓的時候受到了挫折,哈哈。 首先想說的是,Android上的開源組件並不少。 具體項目就不多說了,各位同仁也在分享,而且git和group上多的一筆,像UIL(Universal Image Loader)這種神器,還有SherlockActionBar(已經被歸入support v7,並且在最新版本的ADT中已經被強制填入),很強大的Zxing這個一維碼、二維碼通吃的好玩意;還有什麼pull-to-refresh的lib等等,同樣也希望在這個主題裡面能看到更多同僚的分享。 相比來說,就以一二維碼為例,zxing對iOS的支持就不怎麼樣,同事在搞iOS上的條碼掃描和生成的時候,費了很大的功夫,且效果不理想,條碼二維碼這個近幾年很火吧?可是iOS上沒有一套完整的東西,zbar什麼的,看了幾個,都不理想,或多或少有欠缺。 所以的觀點的話,就這件事上,是不同意樓主的觀點的,首先jdk&android都是開源的,所以不考慮難度和質量來說,更容易開發出來一套工具lib或者框架;其次Android有Google這個爹,本著Google精神,有很多人願意去分享自己的東西;再者們從實際開發來講,又或許是做的項目都很小、很白痴,沒有覺得Android的第三方開源小玩意少,很多玩意都能找到相關的解決辦法(現成代碼)。 於是想了解下題主在什麼契機下覺得Android的開源項目少呢?Android本身就是個開源項目呀。 再試圖研究研究其它同仁的看法: 回報的問題 細講講工資,姑且當大夥兒都跟一樣是給人打工的。現在的工資不比同組做iOS的人低,是做app開發的,感覺現在不知道誰傳出來的都有這樣一種誤解,(不算適配的情況下)android開發簡單,iOS開發困難。難道就因為oc入門比java削微復雜點么?或者說以為會點java就隨隨便便地說Android一樣,都能搞?別逗了。Android裡面玩法很多,跑到實際運營上就能給產品提供各種各樣的玩法,像運營商定製,流氓功能(當然不提倡),都是能給公司和團隊帶來其它方面的獲益的;就拿互聯網app來講,關鍵網路層代碼用NDK寫好,UI實現Android和iOS同樣都是隨便交給一個成手就能搞定,又哪裡來的優越感?在靈活運用23甚至更多種設計模式,通讀並精通演算法導論和架構之美後,開發語言難道還有不同之處?這個是覺得很不滿的; 會java並不代表會安卓,同樣,會用java更不代表懂java,別用從不知道哪裡看到的資料說java爛,dalvik卡,講純技術,為何oc不做跨平台? 如果是做Android BSP這種相關的工程師,也可以叫Android工程師,這種價錢就不用多說了吧,不是和做app一個級別的,至少在北方是。 其次是廣告收入,不要再看個排名就說iOS收入多多牛逼,應用內支付收益多少多少了好么?前兩天一個小伙計拿倆圖片當殺毒軟體掙好幾萬的事情當真是裝傻屏蔽了么?放垃圾廣告山寨app這種事App store會讓上么?要是邢山虎拿著MT來噴一點都不帶還嘴,有多少人一個自己運營的APP都沒搞過就開始大談廣告收入和排名演算法了?認為大部分人花幾天做一個app扔在Google play上,一次性也不用運營,咱們先不要把自己考慮成拯救世界的人,一個月掙個幾百刀廣告費不夠諸位加個油吃個飯的嘛?萬一點子投機了當真辭了工作去36kr覓個投資也好。 說的都是以這種屌絲來說的大實話,沒接觸過在BAT中做的經理。 碎片化的問題 這個的確是一個大問題且無法迴避,硬要牽扯的話,和所謂「開源」項目也有點關系: 不夠精:某些開源組件在某些特定機型上會報錯,因為其可能改了原生的sdk; 不夠多:現在對於Android程序員來講「兼容到2.1(更有甚者到1.6)」已經和「兼容到IE6」一個級別地讓人痛苦不堪;這也導致了最起碼就有時候不願意寫一個庫給小組用,要做的東西特別多,很惡心; 不夠全:iOS其實一直貫徹的都是某些種特定的風格,至少和Android相比基本就可以看成只有一兩種;可以針對一兩種來做一套工具框架,但是肯定無法為未知種類做點什麼(這里主要還是指UI,因為畢竟app開發的主要工作量還是在UI上) 生態圈的問題 一個是市場佔有率,有說Android市場佔有率佔有高,開源項目就應該多的,這種純屬敷衍答案,此處不表;其次是所說的應用商店,換句話說是應用個數,再換個詞兒叫有效應用個數,這個就不用多說了吧,上文也有提到,像這樣就圖個廣告費還個貸款的人大有人在,做做rom放點系統apk流氓捆綁的也大有人在,覺得不爽的同僚也沒必要噴,誰不為了活著;從審核機制來看,忘了在哪個資料上看到了,iOS幫開發者做好了XXX事情,是為了讓他們開發出更好、更優良的點子;而做Android的,甚至是Android本身,仍然在摸索。 突然想到一個,也是經常碰見的,不知道cocoachina什麼的iOS論壇怎麼樣,反正Android這邊網上資料都爛了,各種瞎胡轉載,不要求轉載、爬蟲的時候署名了,好歹把代碼格式給帖過來;格式沒有也沒關系,能不能把代碼給帖全了 反正在國內論壇上的時候,至少網路的時候,經常會心煩氣躁,不知道題主是不是在搜某個實現的時候也碰見了這個問題?還是去stackoverflow上看看吧。 個人做Android APP開發,卻用OSX,包括最近開始看iOS相關的開發內容,有時候拿著手裡的iPhone玩一玩,靜音、音量、home、power鍵都是剛需,玩游戲的時候不用像nexus一樣怕碰到虛擬鍵,承認蘋果做的非常非常棒,但是決不承認安卓比蘋果差,實在沒有可比性。 個人理解題主說的開源組件是所謂的開源工程。其實如果說到開源,真的就和錢啥的扯不上關系了。生態,再過幾年等4.0以下的都滅絕了,就不會說生態爛了其實Android有很多非常不錯的開源工程,這里說的開源工程是指那種作為依賴工程導入的的工程,下面介紹一下比較知名的android開源項目,都是造好的輪子,免去了很多麻煩 android-pulltorefresh 一個強大的拉動刷新開源項目,支持各種控制項下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉動刷新,比下面johannilsson那個只支持ListView的強大的多。並且他實現的下拉刷新ListView在item不足一屏情況下也不會顯示刷新提示,體驗更好。 ActionBarSherlock 為Android所有版本提供統一的ActionBar,解決4.0以下ActionBar的適配問題 MenuDrawer 滑出式菜單,通過拖動屏幕邊緣滑出菜單,支持屏幕上下左右劃出,支持當前View處於上下層,支持Windows邊緣、ListView邊緣、ViewPager變化劃出菜單等。 Android-ViewPagerIndicator 配合ViewPager使用的Indicator,支持各種位置和樣式 SwipeBackLayout 左右或向上滑動返回的Activity 這個在知乎的手機app裡面有,說的是安卓版,蘋果的沒用過,向右滑動屏幕退出當前頁面就是這個玩意兒做的 還有一個非同步圖片載入的universal image loader,也是很猛的... 題主要找的話可以找到很多,只是列舉一些用的比較多的
Ⅶ 如何設計一款爬蟲Android APP
手機應該算客戶端,爬蟲一般針對伺服器的吧。 我覺得不能,除非手機信息傳到了伺服器,並開放。
Ⅷ Android創建登錄項目的管理員和用戶登錄後台如何在manifest文件里聲明
摘要 親您好很高興為您解答
Ⅸ 畢業設計:android 網路電影 爬蟲 抓包
建議你換一個, 網路爬蟲抓包這些開發都非常復雜,還不如來點簡單實用的,本人做了很多android的應用開發, 可以勾通一下, 看看哪個比較適合。
Ⅹ 怎麼查出一張圖片上的人是誰
在有一些電影裡面,特別是科幻高科技電影裡面經常出現的一幕,獲得某人的照片然後進行各種數據對比,然後找出這個人的個人信息:姓名、年齡、性別、工作等等。
理論上:你可以建立一個你感興趣的百萬級的資料庫,給你個照片 ,你就可以得到她是誰,哪裡的,信息都可以知道,而且因為人與人之間的網狀的關聯,你甚至可以知道她喜歡的人是誰,男朋友長啥樣子。
相信我:一切都不是虛構的,你能做的更多!
思路:
一、數據收集,可以採用爬蟲對網上海里的明星信息進行有針對的爬取
二、格式化數據,存入mysq,把明星的自拍照的文件名存入資料庫中
三、使用網路的api對程序進行編寫,說實話,網路人臉識別做的很棒了,精確度很高
四、你上傳一張圖片(或者你能想像到的方式),後面的程序會對你海量的資料庫中人的信息進行比對
五、輸出匹配到的人的信息,和相似度的數值。