⑴ 如何提升python操作mongodb的效率
对于大规模的遍历,我觉得可以考虑:
使用EXHAUST类型的cursor,这样可以让mongo一批一批的返回查询结果,并且在client请求之前把数据stream过来。
在find指定batch_size,默认值貌似是101个document或者size超过1M,可以设定更大的batch_size来指定route trip的数量,详
⑵ python 怎样通过遍历以下文件后全部读到mongodb数据库中
python 访问 mongodb 需要先安装 pymongo,如下:
1pipinstallpymongotxt 文件格式:
代码如下:
⑶ 怎么使用python编写根据输入查询条件查询mongoDB数据库
hid=239526
cur = my_set.find({"sourceID":1,"downloadDate":"2018-05-08","bwHotelID":hid},{"checkIn":1,"_id":0}).sort([("checkIn",1)])
查询条件参数化, 这里是josn格式,不是这字符串,不用占位符之类的东西
你要知道json对象就等同于你的python代码
你在它那直接用变量代替就行
⑷ python中mongodb怎么连接其他服务器的数据库
1、基于mongo实现远程连接
[plain] view plain
mongo -u admin -p admin 192.168.0.197:27017/pagedb
通过mongo实现连接,可以非常灵活的选择参数选项,参看命令帮助,如下所示:
[plain] view plain
mongo --help
MongoDB shell version: 1.8.3
usage: mongo [options] [db address] [file names (ending in .js)]
db address can be:
foo foo database on local machine
192.169.0.5/foo foo database on 192.168.0.5 machine
192.169.0.5:9999/foo foo database on 192.168.0.5 machine on port 9999
options:
--shell run the shell after executing files
--nodb don't connect to mongod on startup - no 'db address'
arg expected
--quiet be less chatty
--port arg port to connect to
--host arg server to connect to
--eval arg evaluate javascript
-u [ --username ] arg username for authentication
-p [ --password ] arg password for authentication
-h [ --help ] show this usage information
--version show version information
--verbose increase verbosity
--ipv6 enable IPv6 support (disabled by default)
2、基于MongoDB支持的javascript实现远程连接
当你已经连接到一个远程的MongoDB数据库服务器(例如,通过mongo连接到192.168.0.184),现在想要在这个会话中连接另一个远程的数据库服务器(192.168.0.197),可以执行如下命令:
[plain] view plain
> var x = new Mongo('192.168.0.197:27017')
> var ydb = x.getDB('pagedb');
> use ydb
switched to db ydb
> db
ydb
> ydb.page.findOne()
{
"_id" : ObjectId("4eded6a5bf3bfa0014000003"),
"content" : "巴黎是浪漫的城市,可是...",
"pubdate" : "2006-03-19",
"title" : "巴黎:从布鲁塞尔赶到巴黎",
"url" : "http://france.bytravel.cn/Scenery/528/cblsegdbl.html"
}
上述通过MongoDB提供的JavaScript脚本,实现对另一个远程数据库服务器进行连接,操作指定数据库pagedb的page集合。
如果启用了安全认证模式,可以在获取数据库连接实例时,指定认证账号,例如:
[plain] view plain
> var x = new Mongo('192.168.0.197:27017')
> var ydb = x.getDB('pagedb', 'shirdrn', '(jkfFS$343$_\=\,.F@3');
> use ydb
switched to db ydb
⑸ 各位大脑,如何把txt文件用python导入到mongoDB数据库里txt里面字段是姓名学号成绩
python 访问 mongodb 需要先安装 pymongo,如下:
pipinstallpymongo
txt 文件格式:
#coding=utf-8
frompymongoimportMongoClient
conn=MongoClient('127.0.0.1',27017)
#连接test数据库,没有则自动创建
db=conn.test
#使用students集合,没有则自动创建
students=db.students
#打开学生信息文件,并将数据存入到数据库
withopen('students.txt','r')asf:
forlineinf.readlines():
#分割学生信息
items=line.strip('
').strip('
').split(',')
#添加到数据库
students.insert({'stu_id':items[0],'name':items[1],'grade':int(items[2])})
#数据库查询学生信息并打印出来
forsinstudents.find():
print(s)
⑹ Python语言怎么实现mongodb的查询操作
对于mongo的操作,先安装mongodb的python扩展,在你的命令行窗口上输入:pip install pymongo,下面是例子,按需要修改
frompymongoimportMongoClient
importtime
mongo_uri_auth='mongodb://user:password@localhost:27017/'#mongo有要验证的话请自行替换user和password
mongo_uri_no_auth='mongodb://localhost:27017/'#mongo没有账号密码验证的时候用这个
database_name='request_db'#你要连接的数据库名,自行替换你需要的库名
table_name='request_tb'#你要查询的表名,请自行替换你需要的表名
client=MongoClient(mongo_uri_no_auth)#创建了与mongodb的连接
db=client[database_name]
table=db[table_name]#获取数据库中表的游标
#你要插入的数据
insert_data={"name":"Mike","grade":"two","age":12,"sex":"man"}
table..insert_one(insert_data)#插入一条数据
#查询数据name为Mike的记录
record=table.find_one({"name":"Mike"})
printrecord
⑺ python怎么操作mongodb
#coding:utf-8__author__ = 'hdfs'import pymongofrom pymongo import MongoClientclient = MongoClient() client=MongoClient('10.0.0.9',27017)#连接mongodb数据库client = MongoClient('mongodb://10.0.0.9:27017/')#指定数据库名称db = client.test_database#获取非系统的集合db.collection_names(include_system_collections=False)#获取集合名posts = db.posts#查找单个文档posts.find_one()#给定条件的一个文档posts.find_one({"author": "Mike"})#使用ID查找需要ObjectIDfrom bson.objectid import ObjectIdpost_id='5728aaa96795e21b91c1aaf0'document = client.db.collection.find_one({'_id': ObjectId(post_id)})import datetimenew_posts = [{"author": "Mike", "text": "Another post!", "tags": ["bulk", "insert"], "date": datetime.datetime(2009, 11, 12, 11, 14)}, {"author": "Eliot", "title": "MongoDB is fun", "text": "and pretty easy too!", "date": datetime.datetime(2009, 11, 10, 10, 45)}]#插入多条记录result = posts.insert_many(new_posts)#返回插入的IDresult.inserted_ids#递归集合for post in posts.find(): post #递归条件集合for post in posts.find({"author": "Mike"}): post #文档的记录数posts.count() #区间查询d = datetime.datetime(2009, 11, 12, 12)for post in posts.find({"date": {"$lt": d}}).sort("author"): print post#给集合profiles建立索引 唯一索引result = db.profiles.create_index([('user_id', pymongo.ASCENDING)],unique=True)#查看索引信息list(db.profiles.index_information())#user_profiles = [{'user_id': 211, 'name': 'Luke'},{'user_id': 212, 'name': 'Ziltoid'}]result = db.profiles.insert_many(user_profiles) #聚合查询from pymongo import MongoClientdb = MongoClient('mongodb://10.0.0.9:27017/').aggregation_example#准备数据result = db.things.insert_many([{"x": 1, "tags": ["dog", "cat"]}, {"x": 2, "tags": ["cat"]}, {"x": 2, "tags": ["mouse", "cat", "dog"]}, {"x": 3, "tags": []}])result.inserted_ids'''{ "_id" : ObjectId("576aaa973e5269020848cc7c"), "x" : 1, "tags" : [ "dog", "cat" ] }{ "_id" : ObjectId("576aaa973e5269020848cc7d"), "x" : 2, "tags" : [ "cat" ] }{ "_id" : ObjectId("576aaa973e5269020848cc7e"), "x" : 2, "tags" : [ "mouse", "cat", "dog" ] }{ "_id" : ObjectId("576aaa973e5269020848cc7f"), "x" : 3, "tags" : [ ] }'''from bson.son import SON#$unwind 解开-后面的变量pipeline = [ {"$unwind": "$tags"}, {"$group": {"_id": "$tags", "count": {"$sum": 1}}}, {"$sort": SON([("count", -1), ("_id", -1)])} ]list(db.things.aggregate(pipeline))#使用聚合函数with commanddb.command('aggregate', 'things', pipeline=pipeline, explain=True)
⑻ 怎样使用python访问mongodb
安装驱动pymongo!
输入命令:pip installpymongo
直接使用驱动
缺点:
不是全盘取代传统数据库(NoSQLFan:是否能取代需要看应用场景)
不支持复杂事务(NoSQLFan:MongoDB只支持对单个文档的原子操作)
文档中的整个树,不易搜索,4MB限制?(NoSQLFan:1.8版本已经修改为16M)
特点(NoSQLFan:作者在这里列举的很多只是一些表层的特点):
文档型数据库,表结构可以内嵌
没有模式,避免空字段开销(Schema Free)
分布式支持
查询支持正则
动态扩展架构
32位的版本最多只能存储2.5GB的数据(NoSQLFan:最大文件尺寸为2G,生产环境推荐64位)
⑼ python 连mongodb时怎么设定mongod服务端路径
python连接mongodb操作数据示例,主要包括插入数据、更新数据、查询数据、删除数据等
一、相关代码
数据库配置类 MongoDBConn.py
复制代码 代码如下:
#encoding=utf-8
'''
Mongo Conn连接类
'''
import pymongo
class DBConn:
conn = None
servers = "mongodb://localhost:27017"
def connect(self):
self.conn = pymongo.Connection(self.servers)
def close(self):
return self.conn.disconnect()
def getConn(self):
return self.conn
MongoDemo.py 类
复制代码 代码如下:
#encoding=utf-8
'''
Mongo操作Demo
Done:
'''
import MongoDBConn
dbconn = MongoDBConn.DBConn()
conn = None
lifeba_users = None
def process():
#建立连接
dbconn.connect()
global conn
conn = dbconn.getConn()
#列出server_info信息
print conn.server_info()
#列出全部数据库
databases = conn.database_names()
print databases
#删除库和表
dropTable()
#添加数据库lifeba及表(collections)users
createTable()
#插入数据
insertDatas()
#更新数据
updateData()
#查询数据
queryData()
#删除数据
deleteData()
#释放连接
dbconn.close()
def insertDatas():
datas=[{"name":"steven1","realname":"测试1","age":25},
{"name":"steven2","realname":"测试2","age":26},
{"name":"steven1","realname":"测试3","age":23}]
lifeba_users.insert(datas)
def updateData():
'''只修改最后一条匹配到的数据
第3个参数设置为True,没找到该数据就添加一条
第4个参数设置为True,有多条记录就不更新
'''
lifeba_users.update({'name':'steven1'},{'$set':{'realname':'测试1修改'}}, False,False)
def deleteData():
lifeba_users.remove({'name':'steven1'})
def queryData():
#查询全部数据
rows = lifeba_users.find()
printResult(rows)
#查询一个数据
print lifeba_users.find_one()
#带条件查询
printResult(lifeba_users.find({'name':'steven2'}))
printResult(lifeba_users.find({'name':{'$gt':25}}))
def createTable():
'''创建库和表'''
global lifeba_users
lifeba_users = conn.lifeba.users
def dropTable():
'''删除表'''
global conn
conn.drop_database("lifeba")
def printResult(rows):
for row in rows:
for key in row.keys():#遍历字典
print row[key], #加, 不换行打印
print ''
if __name__ == '__main__':
process()