pythontwistedhttp

① python twisted 寫tcp 客戶端 伺服器 為什麼self.transport.write傳送多數據的時候，接受到是一起接受呢

因為tcp socket只是傳送一個段連續的數據流，如果你write：

self.transport.write('Z')
self.transport.write('Z')
self.transport.write('Z')

因為三個write是連續的，所以對socket來說，它要傳的就是用hex表示的'5a 5a 5a'這樣一段數據，你分開寫或者一次寫對socket來說沒有什麼區別。

tcp socket的另一端需要接受多次的，要麼是你要傳送的數據太大，一個packet裝不下，要麼就是兩次傳送之間的時間有間隔，會形成兩個packet。

一般的處理是你需要另外的一個Application Layer的protocol，比如最簡單的你用 來分隔每一個write，然後在接收到的時候可以在數據里找到 ，然後就可以分別處理每一個write了。

② python-twisted模塊有什麼作用

這是一篇關於python之twisted模塊安裝的文章,文中有關python,twisted,安裝的內容,請參考。

③ python3.5可以安裝Twisted嗎

在windows環境，python3.5下使用命令行安裝模塊

pip install Twisted

會報錯

Unable to find vcvarsall.bat

原因大概是和VC編譯環境有關系，網上找了一堆方法，感覺編譯環境這事太麻煩。找到最簡單是方法是，先安裝
wheel模塊，然後下載Twisted模塊的.whl安裝包，安裝之

隨便找一個.whl安裝包下載，安裝，又會碰到一些坑：

提示pip需要升級，根據它給的建議升級

提示[filename.whl is not supported wheel on this platform]
Twisted, an event-driven networking engine.
Twisted‑16.6.0‑cp27‑cp27m‑win32.whl
Twisted‑16.6.0‑cp27‑cp27m‑win_amd64.whl
Twisted‑16.6.0‑cp34‑cp34m‑win32.whl
Twisted‑16.6.0‑cp34‑cp34m‑win_amd64.whl
Twisted‑16.6.0‑cp35‑cp35m‑win32.whl
Twisted‑16.6.0‑cp35‑cp35m‑win_amd64.whl
Twisted‑16.6.0‑cp36‑cp36m‑win32.whl
Twisted‑16.6.0‑cp36‑cp36m‑win_amd64.whl

cp後面跟的數字是python的版本，比如現在我的python版本是3.5，那麼需要下載cp35；
如果還提示不支持platform，就把win32和win64的版本都下下來分別試一下，我的系統是64位但是裝32位的whl才能成功

④ python3.7無法導入twisted模塊

>>>importtwisted
>>>fromtwistedimportinternet
>>>fromtwisted.internetimportreactor

我准備都正常，你重新試一遍

或者 重新 安裝

⑤ python安裝twisted，可是一直安裝wheel她卻顯示不在一個平台，網上說是文件名不和要求

對的，沒有在一個平台

⑥ Python編程網頁爬蟲工具集介紹

【導語】對於一個軟體工程開發項目來說，一定是從獲取數據開始的。不管文本怎麼處理，機器學習和數據發掘，都需求數據，除了通過一些途徑購買或許下載的專業數據外，常常需求咱們自己著手爬數據，爬蟲就顯得格外重要，那麼Python編程網頁爬蟲東西集有哪些呢?下面就來給大家一一介紹一下。

1、 Beautiful Soup

客觀的說，Beautifu Soup不完滿是一套爬蟲東西，需求協作urllib運用，而是一套HTML / XML數據分析，清洗和獲取東西。

2、Scrapy

Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework
for
Python.信不少同學都有耳聞，課程圖譜中的許多課程都是依託Scrapy抓去的，這方面的介紹文章有許多，引薦大牛pluskid早年的一篇文章：《Scrapy
輕松定製網路爬蟲》，歷久彌新。

3、 Python-Goose

Goose最早是用Java寫得，後來用Scala重寫，是一個Scala項目。Python-Goose用Python重寫，依靠了Beautiful
Soup。給定一個文章的URL, 獲取文章的標題和內容很便利，用起來非常nice。

以上就是Python編程網頁爬蟲工具集介紹，希望對於進行Python編程的大家能有所幫助，當然Python編程學習不止需要進行工具學習，還有很多的編程知識，也需要好好學起來哦，加油!

⑦ python非同步有哪些方式

yield相當於return，他將相應的值返回給調用next()或者send()的調用者，從而交出了CPU使用權，而當調用者再次調用next()或者send()的時候，又會返回到yield中斷的地方，如果send有參數，還會將參數返回給yield賦值的變數,如果沒有就和next（）一樣賦值為None。但是這里會遇到一個問題，就是嵌套使用generator時外層的generator需要寫大量代碼，看如下示例：
注意以下代碼均在Python3.6上運行調試

#!/usr/bin/env python# encoding:utf-8def inner_generator():
i = 0
while True:
i = yield i if i > 10: raise StopIterationdef outer_generator():
print("do something before yield")
from_inner = 0
from_outer = 1
g = inner_generator()
g.send(None) while 1: try:
from_inner = g.send(from_outer)
from_outer = yield from_inner except StopIteration: breakdef main():
g = outer_generator()
g.send(None)
i = 0
while 1: try:
i = g.send(i + 1)
print(i) except StopIteration: breakif __name__ == '__main__':
main()041

為了簡化，在Python3.3中引入了yield from

yield from

使用yield from有兩個好處，

1、可以將main中send的參數一直返回給最里層的generator，
2、同時我們也不需要再使用while循環和send (), next()來進行迭代。

我們可以將上邊的代碼修改如下：

def inner_generator():
i = 0
while True:
i = yield i if i > 10: raise StopIterationdef outer_generator():
print("do something before coroutine start") yield from inner_generator()def main():
g = outer_generator()
g.send(None)
i = 0
while 1: try:
i = g.send(i + 1)
print(i) except StopIteration: breakif __name__ == '__main__':
main()

執行結果如下：

do something before coroutine start123456789101234567891011

這里inner_generator()中執行的代碼片段我們實際就可以認為是協程，所以總的來說邏輯圖如下：

我們都知道Python由於GIL(Global Interpreter Lock)原因，其線程效率並不高，並且在*nix系統中，創建線程的開銷並不比進程小，因此在並發操作時，多線程的效率還是受到了很大制約的。所以後來人們發現通過yield來中斷代碼片段的執行，同時交出了cpu的使用權，於是協程的概念產生了。在Python3.4正式引入了協程的概念，代碼示例如下：

import asyncio# Borrowed from http://curio.readthedocs.org/en/latest/[email protected] countdown(number, n):
while n > 0:
print('T-minus', n, '({})'.format(number)) yield from asyncio.sleep(1)
n -= 1loop = asyncio.get_event_loop()
tasks = [
asyncio.ensure_future(countdown("A", 2)),
asyncio.ensure_future(countdown("B", 3))]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()12345678910111213141516

示例顯示了在Python3.4引入兩個重要概念協程和事件循環，
通過修飾符@asyncio.coroutine定義了一個協程，而通過event loop來執行tasks中所有的協程任務。之後在Python3.5引入了新的async & await語法，從而有了原生協程的概念。

async & await

在Python3.5中，引入了aync&await 語法結構，通過」aync def」可以定義一個協程代碼片段，作用類似於Python3.4中的@asyncio.coroutine修飾符，而await則相當於」yield from」。

先來看一段代碼，這個是我剛開始使用async&await語法時，寫的一段小程序。

#!/usr/bin/env python# encoding:utf-8import asyncioimport requestsimport time


async def wait_download(url):
response = await requets.get(url)
print("get {} response complete.".format(url))


async def main():
start = time.time()
await asyncio.wait([
wait_download("http://www.163.com"),
wait_download("http://www.mi.com"),
wait_download("http://www.google.com")])
end = time.time()
print("Complete in {} seconds".format(end - start))


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

這里會收到這樣的報錯：

Task exception was never retrieved
future: <Task finished coro=<wait_download() done, defined at asynctest.py:9> exception=TypeError("object Response can't be used in 'await' expression",)>
Traceback (most recent call last):
File "asynctest.py", line 10, in wait_download
data = await requests.get(url)
TypeError: object Response can't be used in 'await' expression123456

這是由於requests.get()函數返回的Response對象不能用於await表達式，可是如果不能用於await，還怎麼樣來實現非同步呢？
原來Python的await表達式是類似於」yield from」的東西，但是await會去做參數檢查，它要求await表達式中的對象必須是awaitable的，那啥是awaitable呢？ awaitable對象必須滿足如下條件中其中之一：

1、A native coroutine object returned from a native coroutine function .

原生協程對象

2、A generator-based coroutine object returned from a function decorated with types.coroutine() .

types.coroutine()修飾的基於生成器的協程對象，注意不是Python3.4中asyncio.coroutine

3、An object with an await method returning an iterator.

實現了await method，並在其中返回了iterator的對象

根據這些條件定義，我們可以修改代碼如下：

#!/usr/bin/env python# encoding:utf-8import asyncioimport requestsimport time


async def download(url): # 通過async def定義的函數是原生的協程對象
response = requests.get(url)
print(response.text)


async def wait_download(url):
await download(url) # 這里download(url)就是一個原生的協程對象
print("get {} data complete.".format(url))


async def main():
start = time.time()
await asyncio.wait([
wait_download("http://www.163.com"),
wait_download("http://www.mi.com"),
wait_download("http://www.google.com")])
end = time.time()
print("Complete in {} seconds".format(end - start))


loop = asyncio.get_event_loop()
loop.run_until_complete(main())27282930

好了現在一個真正的實現了非同步編程的小程序終於誕生了。
而目前更牛逼的非同步是使用uvloop或者pyuv，這兩個最新的Python庫都是libuv實現的，可以提供更加高效的event loop。

uvloop和pyuv

pyuv實現了Python2.x和3.x，但是該項目在github上已經許久沒有更新了，不知道是否還有人在維護。
uvloop只實現了3.x, 但是該項目在github上始終活躍。

它們的使用也非常簡單，以uvloop為例，只需要添加以下代碼就可以了

import asyncioimport uvloop
asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())123

⑧ 為什麼只能用 Python 只能用 2.7.x 而不能用 3.x 的呢

庫不支持
主要原因是Twisted還不完全支持Python3. 雖然Twisted大部分是可移植到python3的，但Twisted的http agent並不支持Python3.
scrapy團隊兩年前就開始了向python3的移植工作。現在scrapy每次提交都有一部分測試在python3下執行。

⑨ python3.6 安裝Twisted出錯怎麼辦

卸載重新安裝
安裝教程1、選擇install for all users 路點Nextpython 2.7.11默認安裝至C盤

2、特別要注意選pipAdd python.exe to Path

3、打命令提示符窗口敲入python現兩種情況：
⑴情況：

說明安裝完畢
⑵情況二：錯誤：
①『python』內部或外部命令運行程序或批處理文件
②Windows根據Path環境變數設定路徑查找python.exe沒找報錯安裝漏掉勾選Add python.exe to Path要手python.exe所路徑C:\Python27添加Path
③知道修改環境變數建議Python安裝程序重新運行遍記勾Add python.exe to Path