㈠ 用python查询redis数据,结果中前面为什么总是有字母b
使用Redis的脚本功能实现Redis中数据简单查询,有需要的朋友可以参考下。 在Redis的设计中,key是一切,对于Redis是可见的,而value对于Redis来说就是一个字节数组,Redis并不知道你的value中存储的是什么,所以要想实现比如 ‘select * from use...
㈡ python 用redis做什么功能
redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,
并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。
import redis 导入redis模块,通过python操作redis 也可以直接在redis主机的服务端操作缓存数据库
r = redis.Redis(host='192.168.19.130', port=6379) host是redis主机,需要redis服务端和客户端都起着 redis默认端口是6379
r.set('foo', 'Bar') key是"foo" value是"bar" 将键值对存入redis缓存
print r.get('foo') Bar 取出键foo对应的值!
㈢ 使用python同步mysql到redis由于数据较多,一条一条读出来写到redis太慢,有没有可以批量操作的。
MYSQL快速同步数据到Redis
举例场景:存储游戏玩家的任务数据,游戏服务器启动时将mysql中玩家的数据同步到redis中。
从MySQL中将数据导入到Redis的Hash结构中。当然,最直接的做法就是遍历MySQL数据,一条一条写入到Redis中。这样没什么错,但是速度会非常慢。如果能够想法使得MySQL的查询输出数据直接能够与Redis命令行的输入数据协议相吻合,可以节省很多消耗和缩短时间。
Mysql数据库名称为:GAME_DB, 表结构举例:
CREATE TABLE TABLE_MISSION (
playerId int(11) unsigned NOT NULL,
missionList varchar(255) NOT NULL,
PRIMARY KEY (playerId)
);
Redis中的数据结构使用哈希表:
键KEY为mission, 哈希域为mysql中对应的playerId, 哈希值为mysql中对应的missionList。 数据如下:
[root@iZ23zcsdouzZ ~]# redis-cli
127.0.0.1:6379> hget missions 36598
"{\"10001\":{\"status\":1,\"progress\":0},\"10002\":{\"status\":1,\"progress\":0},\"10003\":{\"status\":1,\"progress\":0},\"10004\":{\"status\":1,\"progress\":0}}"
快速同步方法:
新建一个后缀.sql文件:mysql2redis_mission.sql
内容如下:
SELECT CONCAT(
"*4\r\n",
'$', LENGTH(redis_cmd), '\r\n',
redis_cmd, '\r\n',
'$', LENGTH(redis_key), '\r\n',
redis_key, '\r\n',
'$', LENGTH(hkey), '\r\n',
hkey, '\r\n',
'$', LENGTH(hval), '\r\n',
hval, '\r'
)
FROM (
SELECT
'HSET' as redis_cmd,
'missions' AS redis_key,
playerId AS hkey,
missionList AS hval
FROM TABLE_MISSION
) AS t
创建shell脚本mysql2redis_mission.sh
内容:
mysql GAME_DB --skip-column-names --raw < mission.sql | redis-cli --pipe
Linux系统终端执行该shell脚本或者直接运行该系统命令,即可将mysql数据库GAME_DB的表TABLE_MISSION数据同步到redis中键missions中去。mysql2redis_mission.sql文件就是将mysql数据的输出数据格式和redis的输入数据格式协议相匹配,从而大大缩短了同步时间。
经过测试,同样一份数据通过单条取出修改数据格式同步写入到redis消耗的时间为5min, 使用上面的sql文件和shell命令,同步完数据仅耗时3s左右。
㈣ python 中对redis 操作采用装饰器进行处理,怎么做
redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。importredis导入redis模块,通过python操作redis也
㈤ python redis setex可以设value为list或者其他数据结构吗
redis setex 命令存放php数组将返回Array, 如果场景确定适合用,就存放前序列化,取时再反序列化,如果是二维数组,建议用Hash数据
redis 数据结构多样化,根据不同的业务场景满足各种不同的需求
Hash 对应的场景(常用,欢迎大家补充讨论)
产品各参数信息
用户信息等
使用过活动专题上的点赞场景等
Hash 常见的命令
hgetall - 以列表形式返回哈希表的域和域的值,若key不存在,返回空列表
hget - hget key field 返回哈希表key中给定域field 的值
hmset - hmset key field value [field value ...] 同时设置多个值,成功返回ok
hsetnx - hsetnx key field value 如果域field 已经存在,该操作无效,返回0,成功返回1
hset - hset key field value 一个新的哈希表被创建并进行设置值,如果域field已经存在于哈希表中,旧值被覆盖
hgetall 取得全部属性 但是如果内部Map的成员很多,那么涉及到遍历整个内部Map的操作,由于Redis单线程模型的缘故,这个遍历操作可能会比较耗时,而另其它客户端的请求完全不响应,这点需要格外注意。
hlen - 返回哈希表key中域的数量
hvals - 返回哈希表key中的所有值
hdel - 删除一个或多个的域,例: hdel key field0 field1 返回成功删除的数量,成功删除2个即返回2
# 其它看官网文档
可以仔细了解redis 各数据结构(重要),具体根据自己的业务场景使用
㈥ python怎么使用redis
(1)使用 # easy_install redis
(2)直接编译安装
#wget https://pypi.python.org/packages/source/r/redis/redis-2.9.1.tar.gz
#tar xvzf redis-2.9.1.tar.gz
#cd redis-2.9.1
#python setup.py install
㈦ 编写一个python程序实现redis集群的访问
用python-2.7.3\python是对的,但是你的hello.py放在那里?你需要先用“cd 目录名”转换当前目录到存放hello.py的地方,然后执行python-2.7.3\python hello.py。
㈧ python 获取的redis里的数据怎么处理
一、获取所有Key
[python]view plain
#-*-encoding:UTF-8-*-
__author__="Sky"
importredis
pool=redis.ConnectionPool(host='127.0.0.1',port=6379,db=0)
r=redis.StrictRedis(connection_pool=pool)
keys=r.keys()
printtype(keys)
printkeys
运行结果:
<type 'list'>
['fad', '1', '2']
二、获取所有内容
[python]view plain
importredis
pool=redis.ConnectionPool(host='127.0.0.1',port=6379,db=0)
r=redis.Redis(connection_pool=pool)
pipe=r.pipeline()
pipe_size=100000
len=0
key_list=[]
printr.pipeline()
keys=r.keys()
forkeyinkeys:
key_list.append(key)
pipe.get(key)
iflen<pipe_size:
len+=1
else:
for(k,v)inzip(key_list,pipe.execute()):
printk,v
len=0
key_list=[]
for(k,v)inzip(key_list,pipe.execute()):
printk,v
运行结果:
fad fda
1 e
㈨ python 的 redis 库,连接池怎么用
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import redis
host = r'localhost'
port = 6379
POOL = redis.ConnectionPool(host=host, port=port, db=0)
my_server = redis.Redis(connection_pool=POOL)
def read_in_data(file_name):
data = []
with open(file_name, 'r') as f:
for line in f:
line = line.strip()
data.append(line.split(','))
return data
def write_data_to_redis(data):
my_server.set('counter', 0)
for items in data:
my_server.incr('counter')
for item in items:
my_server.rpush(items[0], item)
def get_data_from_redis():
keys = my_server.keys()
for key in keys:
data_type = my_server.type(key)
if data_type == 'list':
val = my_server.lrange(key, 0, -1)
elif data_type == 'string':
val = my_server.get(key)
print "%s:%s" % (key, val)
if __name__ == '__main__':
fileName = r'/Users/qinchuanqing/Code/workspace/IMP/installation/storage/NeSchele.txt'
data = read_in_data(fileName)
write_data_to_redis(data)
print 'all data items number is %s' % my_server.get('counter')
print my_server.keys()
print get_data_from_redis()
㈩ python中的redis有多少个数据库
跟Python没有关系,是redis的问题
1、redis 中的每一个数据库,都由一个 redisDb 的结构存储。其中,redisDb.id 存储着 redis 数据库以整数表示的号码。redisDb.dict 存储着该库所有的键值对数据。redisDb.expires 保存着每一个键的过期时间。
2、当redis 服务器初始化时,会预先分配 16 个数据库(该数量可以通过配置文件配置),所有数据库保存到结构 redisServer 的一个成员 redisServer.db 数组中。当我们选择数据库 select number 时,程序直接通过 redisServer.db[number] 来切换数据库。有时候当程序需要知道自己是在哪个数据库时,直接读取 redisDb.id 即可。
3、既然我们知道一个数据库的所有键值都存储在redisDb.dict中,那么我们要知道如果找到key的位置,就有必要了解一下dict 的结构了:
typedef struct dict {
// 特定于类型的处理函数
dictType *type;
// 类型处理函数的私有数据
void *privdata;
// 哈希表(2个)
dictht ht[2];
// 记录 rehash 进度的标志,值为-1 表示 rehash 未进行
int rehashidx;
// 当前正在运作的安全迭代器数量
int iterators;
} dict;
由上述的结构可以看出,redis 的字典使用哈希表作为其底层实现。dict 类型使用的两个指向哈希表的指针,其中 0 号哈希表(ht[0])主要用于存储数据库的所有键值,而1号哈希表主要用于程序对 0 号哈希表进行 rehash 时使用,rehash 一般是在添加新值时会触发,这里不做过多的赘述。所以redis 中查找一个key,其实就是对进行该dict 结构中的 ht[0] 进行查找操作。
4、既然是哈希,那么我们知道就会有哈希碰撞,那么当多个键哈希之后为同一个值怎么办呢?redis采取链表的方式来存储多个哈希碰撞的键。也就是说,当根据key的哈希值找到该列表后,如果列表的长度大于1,那么我们需要遍历该链表来找到我们所查找的key。当然,一般情况下链表长度都为是1,所以时间复杂度可看作o(1)。
二、当redis 拿到一个key 时,如果找到该key的位置。
了解了上述知识之后,我们就可以来分析redis如果在内存找到一个key了。
1、当拿到一个key后, redis 先判断当前库的0号哈希表是否为空,即:if (dict->ht[0].size == 0)。如果为true直接返回NULL。
2、判断该0号哈希表是否需要rehash,因为如果在进行rehash,那么两个表中者有可能存储该key。如果正在进行rehash,将调用一次_dictRehashStep方法,_dictRehashStep 用于对数据库字典、以及哈希键的字典进行被动 rehash,这里不作赘述。
3、计算哈希表,根据当前字典与key进行哈希值的计算。
4、根据哈希值与当前字典计算哈希表的索引值。
5、根据索引值在哈希表中取出链表,遍历该链表找到key的位置。一般情况,该链表长度为1。
6、当 ht[0] 查找完了之后,再进行了次rehash判断,如果未在rehashing,则直接结束,否则对ht[1]重复345步骤。
到此我们就找到了key在内存中的位置了。