python資料庫同步

Ⅰ 親~你知道怎麼把python和資料庫連接起來嗎，就是把Python處理好的數據直接導入資料庫中

python有orm的，可以直接使用。
另外，你表達得有點怪異。
實際上就是用python資料庫操作的方法。
方法很多，另外還需要看你使用的什麼資料庫

mssql 用 odbc模塊
mysql、mongo、postgreSql、sqlit 等都有對應的python的資料庫操作模塊的。

Ⅱ 使用eclipses和django開發python項目，可以用eclipse來同步資料庫更新嗎

在eclipse中安裝pydev的插件之後，在project explorer中右鍵點你的項目，點擊"Django -> Sync db」就可以實現和manage.py syncdb相同的功能。

Ⅲ 使用python同步mysql到redis由於數據較多，一條一條讀出來寫到redis太慢，有沒有可以批量操作的。

MYSQL快速同步數據到Redis
舉例場景：存儲游戲玩家的任務數據，游戲伺服器啟動時將mysql中玩家的數據同步到redis中。
從MySQL中將數據導入到Redis的Hash結構中。當然，最直接的做法就是遍歷MySQL數據，一條一條寫入到Redis中。這樣沒什麼錯，但是速度會非常慢。如果能夠想法使得MySQL的查詢輸出數據直接能夠與Redis命令行的輸入數據協議相吻合，可以節省很多消耗和縮短時間。
Mysql資料庫名稱為：GAME_DB, 表結構舉例：
CREATE TABLE TABLE_MISSION (
playerId int(11) unsigned NOT NULL,
missionList varchar(255) NOT NULL,
PRIMARY KEY (playerId)
);

Redis中的數據結構使用哈希表：
鍵KEY為mission, 哈希域為mysql中對應的playerId, 哈希值為mysql中對應的missionList。 數據如下：
[root@iZ23zcsdouzZ ~]# redis-cli
127.0.0.1:6379> hget missions 36598
"{\"10001\":{\"status\":1,\"progress\":0},\"10002\":{\"status\":1,\"progress\":0},\"10003\":{\"status\":1,\"progress\":0},\"10004\":{\"status\":1,\"progress\":0}}"

快速同步方法：
新建一個後綴.sql文件：mysql2redis_mission.sql
內容如下：
SELECT CONCAT(
"*4\r\n",
'$', LENGTH(redis_cmd), '\r\n',
redis_cmd, '\r\n',
'$', LENGTH(redis_key), '\r\n',
redis_key, '\r\n',
'$', LENGTH(hkey), '\r\n',
hkey, '\r\n',
'$', LENGTH(hval), '\r\n',
hval, '\r'
)
FROM (
SELECT
'HSET' as redis_cmd,
'missions' AS redis_key,
playerId AS hkey,
missionList AS hval
FROM TABLE_MISSION
) AS t

創建shell腳本mysql2redis_mission.sh
內容：
mysql GAME_DB --skip-column-names --raw < mission.sql | redis-cli --pipe

Linux系統終端執行該shell腳本或者直接運行該系統命令，即可將mysql資料庫GAME_DB的表TABLE_MISSION數據同步到redis中鍵missions中去。mysql2redis_mission.sql文件就是將mysql數據的輸出數據格式和redis的輸入數據格式協議相匹配，從而大大縮短了同步時間。
經過測試，同樣一份數據通過單條取出修改數據格式同步寫入到redis消耗的時間為5min, 使用上面的sql文件和shell命令，同步完數據僅耗時3s左右。

Ⅳ 用python將幾個mysql資料庫的數據同步到一個mysql裡面

這是我以前寫的一個簡單的查找xml值的一個方法，使用該方法可以比較方便的獲得xml的值，相比xml模塊來說比較輕巧defgetValue(xmlcontent,type):start=''end=''ifxmlcontent.find(start)==-1orxmlcontent.find(end)==-1:return""else:sid=xmlcontent.find(start)+len(type)+2eid=xmlcontent.find(end)returnxmlcontent[sid:eid]例如:a='''Jim12'''name=getValue(a,'name')age=getValue(a,'age')在這獲得了數據之後再寫到資料庫不過是一條簡單的INSERT語句罷了

Ⅳ 如何將python和資料庫聯系起來

我這里只能演示ubuntu下安裝的過程。

Ⅵ 怎麼做才能使mysql和python連接起來

什麼是 PyMySQL？

PyMySQL 是在 Python3.x 版本中用於連接 MySQL 伺服器的一個庫，Python2中則使用mysqldb。

PyMySQL 遵循 Python 資料庫 API v2.0 規范，並包含了 pure-Python MySQL 客戶端庫。

PyMySQL 安裝

在使用 PyMySQL 之前，我們需要確保 PyMySQL 已安裝。

PyMySQL 下載地址：https://github.com/PyMySQL/PyMySQL。

如果還未安裝，我們可以使用以下命令安裝最新版的 PyMySQL：

$ pip3 install PyMySQL

如果你的系統不支持 pip 命令，可以使用以下方式安裝：

1、使用 git 命令下載安裝包安裝(你也可以手動下載)：

$ git clone https://github.com/PyMySQL/PyMySQL$ cd PyMySQL/$ python3 setup.py install

2、如果需要制定版本號，可以使用 curl 命令來安裝：

$ # X.X 為 PyMySQL 的版本號$ curl -L https://github.com/PyMySQL/PyMySQL/tarball/pymysql-X.X | tar xz$ cd PyMySQL*$ python3 setup.py install
$ # 現在你可以刪除 PyMySQL* 目錄

注意：請確保您有root許可權來安裝上述模塊。

安裝的過程中可能會出現"ImportError: No mole named setuptools"的錯誤提示，意思是你沒有安裝setuptools，你可以訪問https://pypi.python.org/pypi/setuptools找到各個系統的安裝方法。

Linux 系統安裝實例：

$ wget https://bootstrap.pypa.io/ez_setup.py$ python3 ez_setup.py

資料庫連接

連接資料庫前，請先確認以下事項：

• 您已經創建了資料庫 TESTDB.

• 在TESTDB資料庫中您已經創建了表 EMPLOYEE

• EMPLOYEE表欄位為 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。

• 連接資料庫TESTDB使用的用戶名為 "testuser" ，密碼為 "test123",你可以可以自己設定或者直接使用root用戶名及其密碼，Mysql資料庫用戶授權請使用Grant命令。

• 在你的機子上已經安裝了 Python MySQLdb 模塊。

• 如果您對sql語句不熟悉，可以訪問我們的SQL基礎教程

實例：

以下實例鏈接 Mysql 的 TESTDB 資料庫：

實例(Python 3.0+)

#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法創建一個游標對象 cursorcursor = db.cursor()
# 使用 execute() 方法執行 SQL 查詢 cursor.execute("SELECT VERSION()")
# 使用 fetchone() 方法獲取單條數據.data = cursor.fetchone()
print ("Database version : %s " % data)
# 關閉資料庫連接db.close()

執行以上腳本輸出結果如下：

• Database version : 5.5.20-log



創建資料庫表

如果資料庫連接存在我們可以使用execute()方法來為資料庫創建表，如下所示創建表EMPLOYEE：

實例(Python 3.0+)

#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法創建一個游標對象 cursorcursor = db.cursor()
# 使用 execute() 方法執行 SQL，如果表存在則刪除cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")
# 使用預處理語句創建表sql = """CREATE TABLE EMPLOYEE (
FIRST_NAME CHAR(20) NOT NULL,
LAST_NAME CHAR(20),
AGE INT,
SEX CHAR(1),
INCOME FLOAT )"""
cursor.execute(sql)
# 關閉資料庫連接db.close()

資料庫插入操作

以下實例使用執行 SQL INSERT 語句向表 EMPLOYEE 插入記錄：

實例(Python 3.0+)

#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 插入語句sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""try: # 執行sql語句
cursor.execute(sql)
# 提交到資料庫執行
db.commit()except: # 如果發生錯誤則回滾
db.rollback()
# 關閉資料庫連接db.close()

以上例子也可以寫成如下形式：

實例(Python 3.0+)

#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 插入語句sql = "INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('%s', '%s', %s, '%s', %s)" % ('Mac', 'Mohan', 20, 'M', 2000)try: # 執行sql語句
cursor.execute(sql)
# 執行sql語句
db.commit()except: # 發生錯誤時回滾
db.rollback()
# 關閉資料庫連接db.close()

以下代碼使用變數向SQL語句中傳遞參數:

• ..................................user_id = "test123"password = "password"con.execute('insert into Login values( %s, %s)' % (user_id, password))..................................



資料庫查詢操作

Python查詢Mysql使用 fetchone() 方法獲取單條數據, 使用fetchall() 方法獲取多條數據。

• fetchone():該方法獲取下一個查詢結果集。結果集是一個對象

• fetchall():接收全部的返回結果行.

• rowcount:這是一個只讀屬性，並返回執行execute()方法後影響的行數。

實例：

查詢EMPLOYEE表中salary（工資）欄位大於1000的所有數據：

實例(Python 3.0+)

#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 查詢語句sql = "SELECT * FROM EMPLOYEE
WHERE INCOME > %s" % (1000)try: # 執行SQL語句
cursor.execute(sql)
# 獲取所有記錄列表
results = cursor.fetchall()
for row in results: fname = row[0]
lname = row[1]
age = row[2]
sex = row[3]
income = row[4]
# 列印結果
print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % (fname, lname, age, sex, income ))except: print ("Error: unable to fetch data")
# 關閉資料庫連接db.close()

以上腳本執行結果如下：

• fname=Mac, lname=Mohan, age=20, sex=M, income=2000



資料庫更新操作

更新操作用於更新數據表的的數據，以下實例將 TESTDB 表中 SEX 為 'M' 的 AGE 欄位遞增 1：

實例(Python 3.0+)

#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 更新語句sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')try: # 執行SQL語句
cursor.execute(sql)
# 提交到資料庫執行
db.commit()except: # 發生錯誤時回滾
db.rollback()
# 關閉資料庫連接db.close()

刪除操作

刪除操作用於刪除數據表中的數據，以下實例演示了刪除數據表 EMPLOYEE 中 AGE 大於 20 的所有數據：

實例(Python 3.0+)

#!/usr/bin/python3
import pymysql
# 打開資料庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標 cursor = db.cursor()
# SQL 刪除語句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 執行SQL語句
cursor.execute(sql)
# 提交修改
db.commit()except: # 發生錯誤時回滾
db.rollback()
# 關閉連接db.close()

執行事務

事務機制可以確保數據一致性。

事務應該具有4個屬性：原子性、一致性、隔離性、持久性。這四個屬性通常稱為ACID特性。

• 原子性（atomicity）。一個事務是一個不可分割的工作單位，事務中包括的諸操作要麼都做，要麼都不做。

• 一致性（consistency）。事務必須是使資料庫從一個一致性狀態變到另一個一致性狀態。一致性與原子性是密切相關的。

• 隔離性（isolation）。一個事務的執行不能被其他事務干擾。即一個事務內部的操作及使用的數據對並發的其他事務是隔離的，並發執行的各個事務之間不能互相干擾。

• 持久性（rability）。持續性也稱永久性（permanence），指一個事務一旦提交，它對資料庫中數據的改變就應該是永久性的。接下來的其他操作或故障不應該對其有任何影響。

Python DB API 2.0 的事務提供了兩個方法 commit 或 rollback。

實例

實例(Python 3.0+)

# SQL刪除記錄語句sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)try: # 執行SQL語句
cursor.execute(sql)
# 向資料庫提交
db.commit()except: # 發生錯誤時回滾
db.rollback()

對於支持事務的資料庫， 在Python資料庫編程中，當游標建立之時，就自動開始了一個隱形的資料庫事務。

commit()方法游標的所有更新操作，rollback（）方法回滾當前游標的所有操作。每一個方法都開始了一個新的事務。

錯誤處理

DB API中定義了一些資料庫操作的錯誤及異常，下表列出了這些錯誤和異常:

異常

描述

Warning 當有嚴重警告時觸發，例如插入數據是被截斷等等。必須是 StandardError 的子類。

Error 警告以外所有其他錯誤類。必須是 StandardError 的子類。

InterfaceError 當有資料庫介面模塊本身的錯誤（而不是資料庫的錯誤）發生時觸發。 必須是Error的子類。

DatabaseError 和資料庫有關的錯誤發生時觸發。 必須是Error的子類。

DataError 當有數據處理時的錯誤發生時觸發，例如：除零錯誤，數據超范圍等等。 必須是DatabaseError的子類。

OperationalError 指非用戶控制的，而是操作資料庫時發生的錯誤。例如：連接意外斷開、 資料庫名未找到、事務處理失敗、內存分配錯誤等等操作資料庫是發生的錯誤。 必須是DatabaseError的子類。

IntegrityError 完整性相關的錯誤，例如外鍵檢查失敗等。必須是DatabaseError子類。

InternalError 資料庫的內部錯誤，例如游標（cursor）失效了、事務同步失敗等等。 必須是DatabaseError子類。

ProgrammingError 程序錯誤，例如數據表（table）沒找到或已存在、SQL語句語法錯誤、 參數數量錯誤等等。必須是DatabaseError的子類。

NotSupportedError 不支持錯誤，指使用了資料庫不支持的函數或API等。例如在連接對象上 使用.rollback()函數，然而資料庫並不支持事務或者事務已關閉。 必須是DatabaseError的子類。

Ⅶ HTML中使用Python manage.py migrate語句同步資料庫時只顯示一條語句是什麼原

Trthis:yiicmigrate -migrationPath=application.moles.user.migration... python manage.py makemigrations,b、python manage.py migrate。r我們都會使用python manage.py makemigrations和 python manage.py migrate兩個命令... 資料庫裡面並沒有我們想要創建的數據表,那剛剛那條命。