從mysql查詢資料匯入redis入隊中

倆篇對mysql和redis用法解釋很詳細的部落格:

mysql:

redis:

import pymysql

建立mysql連線,ip、埠、使用者名稱、密碼(passwd,不能寫成其他，例如：pwd或者p，否則報錯)、庫名
conn = pymysql.connect(host='127.0.0.1', user='root', passwd='123456', db='szz', port=3306, charset='utf8')
#建立游標
cur = conn.cursor(cursor=pymysql.cursors.dictcursor) 
#指定cursor的型別為字典，返回結果型別是字典，不再是元組
#執行sql，返回值是int，查詢出來的結果有幾條
cur.execute(''select source_id,pic_url from pic_%s.pic where  source_id=%s'')
#獲取全部資料
row_1 = cur.fetchall()
#游標移到起始位置
cur_complex_r.scroll(0)
for x in row_1:
##存入redis佇列
redisdb.lpush(reids_dui,x)
redisdb.lpush(reids_dui_tmp,x)

import redis

db = 0
#連線redis,password不簡寫(否則或報錯)，db若不寫，則預設操作db0
conn_redis = redis.redis(host='127.0.0.1', port=6379, password='123456', db=db)
sql = "update pic_'%s'.pic set finpic_url='%s' where pic_url='%s';
#獲取佇列中所有的值
zhi_1 = conn_redis.lrange(redis_dui_tmp,0,-1)
for x in zhi_1:
db = mysql.get('db', '')
ct = re.search(r'_(\s+)', db).group()
cur_complex_w.execute( sql % (a,b,c))

從mysql 查詢資料，管道匯出檔案，並且匯入pg

mysql h mysql ip u user ppassword database e sql file.csv psql h pg ip u user database c copy table column from file.csv with delimiter e t null null ...

Mysql從外部檔案匯入資料

一般情況下，如果只有一條或者幾條資料插入表中，那麼我們會優先考慮使用insert into語句，但是如果是數十條甚至上千條，使用insert into語句會讓後你覺得很煩人而且比較容易出錯，mysql提供了從外部檔案匯入資料的語句 load data local infile path ignore...

SQOOP從MySQL匯入資料到Hive

一 匯入hive表時自動建立表 1 執行sqoop語句 sqoop import connect jdbc mysql hadoop001 3306 sqoop username root password 123456 table emp etl m 1 hive import create hi...