使用PHP将大文件导入到数据库中

发表于:2013-10-18来源:IT博客大学习作者:Jessica点击数: 标签:php
朋友需要将一个有170w行的txt文件.按行把数据导入到数据库中.. 所以我帮他写了一下 马克在这里 万一也有人用的着:)

  朋友需要将一个有170w行的txt文件.按行把数据导入到数据库中..

  所以我帮他写了一下 马克在这里 万一也有人用的着:)

以下是代码片段:
header ( "Content-type: text/html;charset=utf-8" );
set_time_limit(0);
include(’Database.class.php’);
$db = new Database(’127.0.0.1’, ’root’, ’root’, ’test’); //数据库
$fp = fopen(’171w.txt’, ’r’); //文件
$i=1; //开始行数
$array = array();  //用来存放从XXX-XXX行的数据的数组
//回调函数
function callback($now) {
    global $db, $array, $i, $fp;
    if(empty($array)) {             //为了节省资源..我们只生成一次数组
        while (!feof($fp)) {
           if($i == $now) {         //循环到需要读取的行数时
               for($j=$i;$j<=$i+999;$j++) {         //读取下面的1000行并存储到数组中
                   $array[$j] = stream_get_line($fp, 1000000, "\n");
               }
               break;
           }
           stream_get_line($fp, 1000000, "\n");    //实践证明 stream_get_line 比 fgets 快很多..
           $i++;
        }
    }
    $db->insert("INSERT INTO test(name) VALUES(’{$array[$now]}’)");  //插入到数据库中
}
include(’SkiyoProcess.class.php’);
$sp = new SkiyoProcess(2, 1000, 171000);  //间隔为2秒  每次插入1000条数据 一共171000行数据
$sp->process(’callback’);

原文转自:http://blogread.cn/it/article/1825

评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)