① 為什麼python爬蟲爬取評論的時候返回了空表格
錯誤分析:
1、使用類似requests模塊,請求的內容是當前頁未經渲染的response,評論一般為非同步載入,源碼中應該找不到該數據(可採用抓包,抓取評論介面,模擬訪問,直接介面爬取)
2、數據解析規則錯誤
3、載入未完成
② html中,數組里有內容為什麼列表裡輸出的是空呢如下所示
打開瀏覽器,進入開發人員工具,輸入var collected=new Array();
collected. push("蒲公英");
collected. push("金銀花");
console. log(collected);
③ python爬取網頁數據是返回空列表,errno:1
非登陸狀態下,瀏覽器能看到相關信息嗎
④ 為什麼源碼沒有空格代碼,但是獲得的數據里有空格,這個是為什麼
其實不用去糾結它前面有不有空格,使用obj.strip()去掉頭尾空格就好了。
⑤ Python使用xpath爬取數據返回空列表,求解答
你輸出html看看,根本不是網頁。
這網站好像有反爬限制。你用基於瀏覽器的爬蟲試試。例如 chrome 的 Web Scraper。
⑥ 資料庫中的表總是會出現查詢的數據都為null或者為空,但是數據表中確實有數據存在
首先換資料庫,MySQL處理這個數量級數據比較吃力。推薦你用DB2 或ORACLE
如果不能換,檢查一下存儲引擎用InnoDB,如果是,檢查
innodb_flush_log_at_trx_commit 這個選項,是否是1
如果是1 用SET AUTOCOMMIT = 0 ,提高數據修改速度
php優化需要
MySQL Slow Log 分析工具分析日誌:mysqlmpslow或mysqlsla比較不錯。
Explain/ DESC 分析SQL 的執行情況和SHOW PROCESSLIST
使用SHOW PROCESSLIST 看是否有鎖表情況,
設置 my.cnf 中的long-query-time 和log-slow-queries 記錄伺服器那些SQL執行速度比較慢
根據上述情況查看對對應的SQL語句進行優化
優化伺服器性能,用RAID5(SAN),加內存本身的升級,提高硬碟I/O性能。
資料庫總體性能優化:
數據表最好能拆成小表。
資料庫切片,分到不用的伺服器上,
資料庫訪問性能優化
修改my.cnf, 下面是影響比較大的:
innodb_flush_log_at_trx_commit 設置為0
如果比下面值大就不用調整了:
query_cache_size 設置為16M
sort_buffer_size 設置為16M
record_buffer 設置為16M
key_buffer_size 設置為8M
innodb_buffer_pool_size 設置為32M
下面是建議設置的
table_cache 設置為512
read_buffer_size 設置為16M
myisam_sort_buffer_size設置為16M
innodb_additional_mem_pool_size 設置為128M
innodb_log_file_size 設置為256M
innodb_log_buffer_size設置為8M
資料庫表優化,
1 建立相應的INDEX
2 統一編碼,MySQL的默認編碼是Latin1,不支持中文,需要把資料庫的默認編碼修改為gbk或者utf8
show variables like 'character%' 查看
另外表的編碼也要與資料庫統一
⑦ 織夢欄目裡面有內容,但是去資料庫裡面看欄目列表為空,這是怎麼回事,瀏覽器緩存和織夢緩存都清理了,
好像沒有什麼好的辦法 在沒備份的情況下 恢復欄目
還是重新 建立欄目吧
⑧ PHP用模板的方式輸出後網頁空白。但右擊查看源碼是有html數據的
那應該就模板報錯了 你可以打開下php的錯誤看下模板哪裡出了錯誤
⑨ 爬蟲爬出來的是空的
1、豆瓣總的電影數據量應該在25萬左右
2、綜藝,電視劇應該在10萬左右
3、豆瓣數據都是json返回,介面爬。
⑩ 為什麼源數據有數據,數據透視表內有的卻不顯示
用於創建數據透視表的源數據表必須是規范的表格,即數據區域第一行為列標題、列標題不能重復、數據區域中不能有空行和空列、數據區域中不能有合並單元格、每列數據為同一種類型的數據、單元格的數據前後沒有空格或其他列印字元。
規范的源數據表 創建數據透視表的步驟: 單擊源數據表數據區域中的任意單元格,單擊【插入】-【數據透視表】,打開【創建數據透視表】對話框,在【請選擇一個表或區域】中默認所選單元格所在的區域為源數據,在【選擇放置數據透視表的位置】選項組中選擇【新工作表】單選按鈕,單擊【確定】按鈕,完成數據透視表的創建。
創建數據透視表 其中,【數據透視表欄位】窗格中的【選擇要添加到報表的欄位】即為源數據表的列標題,欄位列表的布局可以根據使用習慣進行調整。