导航:首页 > 编程语言 > php导入大数据

php导入大数据

发布时间:2023-06-14 20:37:21

‘壹’ 如何用phpmyadmin导入大容量.sql文件

phpmyadmin导入大容量.sql文件步骤:

1,选中,并点击需要需要导入到的数据库:


出现:导入成功,执行了 xxx 个查询。这句话,说明数据库导入已经成功了。

‘贰’ 求关于php excel导入大数据到mysql的解决办法

下载 PHPExcel

require_once('./PHPExcel/IOFactory.php');
$filePath='D:/xxx.xlsx';//excel文件名
$objReader=newPHPExcel_Reader_Excel2007();//具体查看(Documentation/Examples/Reader/exampleReader01.php)
$objPHPExcel=$objReader->load($filePath);
$sheetData=$objPHPExcel->getActiveSheet()->toArray(null,true,true,true);
$insql='insertinto表名(x,x,x)valeus';
//遍历数组$sheetData
//如果有标题先删除unset($sheetData[1]);
foreach($sheetDataas$k=>$data){
$insql.='('.$data['A'].','.$data['B'].','.$data['C'].'),';
//一次插入100条数据减少数据库压力
if(($k+1/100)==0){
$insql=rtrim($insql,',').';';//将最后的逗号替换成分好
//插入数据库并且重置字符串$insql
//或者保存到文件中利用source命令插入数据库
}
}

‘叁’ php+Mysql 大数据导入怎样提高效率

优化SQL插入语句;
比如循环一条一条插入,改成链接多个值进行插入。
将:
foreach($re as $it){
$sql="insert into table (id,name) values(".$it['id'].","."$it['name'].")";
mysql_query($sql);
}
改为:
$sql="insert into table (id,name) values";
foreach($re as $it){
$str= "'".$it['id']."','".$it['name']."'";
}
$sql .= "(".$str."),";
$sql2 = substr($sql,0,-1);
mysql_query($sql);

打开mysql的配置文件,my.ini文件,并找到:max_allowed_packet项;

将值修改大一点,具体根据自己需要修改。比如这里修改为:1G。

重启mysql服务;

5
如果运行页面提示内存溢出,可将值设大一点。
Allowed memory size of 134217728 bytes exhausted (tried to allocate 132907287 bytes)
步骤阅读
6
这样,面对千万数据导入的时候,比原来那种方法至少快好多倍。

‘肆’ php如何读取CSV大文件并且将其导入数据库示例

思路:

读取csv文件,每读取一行数据,就插入数据库

示例

文件夹结构

/
file.csv//csv大文件,这里只模拟三行数据,不考虑运行效率(PS:csv文件格式很简单,文件一般较小,解析很快,运行效率的瓶颈主要在写入数据库操作)
index.php//php文件

file.csv

singi,20
lily,19
daming,23

index.php

/**
*读取csv文件,每读取一行数据,就插入数据库
*/

//获取数据库实例
$dsn='mysql:dbname=test;host=127.0.0.1';
$user='root';
$password='';
try{
$db=newPDO($dsn,$user,$password);
}catch(PDOException$e){
echo'Connectionfailed:'.$e->getMessage();
}

//读取file.csv文件
if(($handle=fopen("file.csv","r"))!==FALSE){
while(($row=fgetcsv($handle,1000,","))!==FALSE){
//写入数据库
$sth=$db->prepare('insertintotestsetname=:name,age=:age');
$sth->bindParam(':name',$row[0],PDO::PARAM_STR,255);
$sth->bindParam(':age',$row[1],PDO::PARAM_INT);
$sth->execute();
}
fclose($handle);
}

数据表

CREATETABLE`test`(
`id`INT(10)UNSIGNEDNOTNULLAUTO_INCREMENT,
`name`VARCHAR(255)NULLDEFAULT''COLLATE'utf8mb4_bin',
`age`INT(10)NULLDEFAULT'0',
PRIMARYKEY(`id`)
)
COLLATE='utf8mb4_bin'
ENGINE=InnoDB;

运行结束后,数据库中会插入csv中的三行数据

‘伍’ php怎么把数据导入数据库

需要PHP基础知识和数据库基础知识。

以SQL为例。使用PHP MySQL 函数可以编辑数据库。

mysql_connect() 函数打开MySQL 连接。举例

<?php
$con = mysql_connect("localhost","mysql_user","mysql_pwd");
if (!$con)
{
die('Could not connect: ' . mysql_error());
}// 一些代码...mysql_close($con);
?>

mysql_connect()三个参数分别是服务器名,连接账号,连接密码。

连接之后,可以使用mysql_select_db()设置要处理的数据库,后面则是用数据库语句处理数据。SQL语法简介网页链接

‘陆’ php 怎么解决 大数据量 插入数据库

ini_set('max_execution_time','0');
$pdo
=
new
PDO("mysql:host=localhost;dbname=test","root","123456");
$sql
=
"insert
into
test(name,age,state,created_time)
values";
for($i=0;
$i<100000;
$i++){
$sql
.="('zhangsan',21,1,'2015-09-17')";
}
$sql
=
substr($sql,0,strlen($sql)-1);
var_mp($sql);
if($pdo
->
exec($sql)){
echo
"插入成功!";
echo
$pdo
->
lastinsertid();
}
试试吧。10万条1分钟多,我觉得还行

‘柒’ PHP 用PHPExcel往数据库导入大量数据

1、首先我们准备一个含有数据的Excel表格,表头和数据表中的表字段相对应。

‘捌’ php,mysql,大批量的excel数据如何导入数据库啊之前我录数据也是这种方式,先转化成cs

关于csv格式
如果内容中有逗号,可以把整个字段用引号括起来,具体可参考网络csv。
例如
字段1,“字段2带,号”,字段3

其实,关键在于php读取csv的规则,csv并不是一定要用逗号,也可以是分号等其他符号。
改一下对应的php读取规则即可。

阅读全文

与php导入大数据相关的资料

热点内容
iic编程注意事项 浏览:49
预定命令的英语 浏览:997
股票机构监测源码 浏览:901
哪个app适合孩子学汉字 浏览:48
副程序员好做吗 浏览:244
pdf1膜 浏览:159
理光为什么设置不了扫描文件夹 浏览:872
老夫子pdf 浏览:306
基于matlab的图像压缩编码 浏览:79
麦克纳姆轮编程 浏览:158
昂科威15压缩比 浏览:106
安卓车机wifi安全性如何选择 浏览:398
华三服务器如何外接硬盘 浏览:591
csgo创意工坊如何寻找专用服务器 浏览:314
程序员抓虫子动图 浏览:600
广数挑四头螺纹怎么编程 浏览:650
embraco压缩机是哪国的 浏览:913
为什么服务器流量那么贵 浏览:259
读取pdf文件内容 浏览:490
如何给脚本链接加密 浏览:90