php讀大文件

『壹』 php如何讀取CSV大文件並且將其導入資料庫示例

思路：

讀取csv文件，每讀取一行數據，就插入資料庫

示例

文件夾結構

/
file.csv//csv大文件，這里只模擬三行數據，不考慮運行效率（PS：csv文件格式很簡單，文件一般較小，解析很快，運行效率的瓶頸主要在寫入資料庫操作）
index.php//php文件

file.csv

singi,20
lily,19
daming,23

index.php

/**
*讀取csv文件，每讀取一行數據，就插入資料庫
*/

//獲取資料庫實例
$dsn='mysql:dbname=test;host=127.0.0.1';
$user='root';
$password='';
try{
$db=newPDO($dsn,$user,$password);
}catch(PDOException$e){
echo'Connectionfailed:'.$e->getMessage();
}

//讀取file.csv文件
if(($handle=fopen("file.csv","r"))!==FALSE){
while(($row=fgetcsv($handle,1000,","))!==FALSE){
//寫入資料庫
$sth=$db->prepare('insertintotestsetname=:name,age=:age');
$sth->bindParam(':name',$row[0],PDO::PARAM_STR,255);
$sth->bindParam(':age',$row[1],PDO::PARAM_INT);
$sth->execute();
}
fclose($handle);
}

數據表

CREATETABLE`test`(
	`id`INT(10)UNSIGNEDNOTNULLAUTO_INCREMENT,
	`name`VARCHAR(255)NULLDEFAULT''COLLATE'utf8mb4_bin',
	`age`INT(10)NULLDEFAULT'0',
	PRIMARYKEY(`id`)
)
COLLATE='utf8mb4_bin'
ENGINE=InnoDB;

運行結束後，資料庫中會插入csv中的三行數據

『貳』 php 使用file_get_contents讀取大文件的方法

當我們遇到文本文件體積很大時，比如超過幾十M甚至幾百M幾G的大文件，用記事本或者其它編輯器打開往往不能成功，因為他們都需要把文件內容全部放到內存裡面，這時就會發生內存溢出而打開錯誤，遇到這種情況我們可以使用PHP的文件讀取函數file_get_contents()進行分段讀取。
函數說明
string
file_get_contents
(
string
$filename
[,
bool
$use_include_path
[,
resource
$context
[,
int
$offset
[,
int
$maxlen
]]]]
)
和
file()
一樣，只除了
file_get_contents()
把文件讀入一個字元串。將在參數
offset
所指定的位置開始讀取長度為
maxlen
的內容。如果失敗，file_get_contents()
將返回
FALSE。
file_get_contents()
函數是用來將文件的內容讀入到一個字元串中的首選方法。如果操作系統支持還會使用內存映射技術來增強性能。
應用：
復制代碼
代碼如下:
$str
=
$content=file_get_contents("2.sql",FALSE,NULL,1024*1024,1024);
echo
$str;
如果針對較小文件只是希望分段讀取並以此讀完可以使用fread()函數
復制代碼
代碼如下:
$fp=fopen('2.sql','r');
while
(!feof($fp)){
$str.=fread($fp,
filesize
($filename)/10);//每次讀出文件10分之1
//進行處理
}
echo
$str;