处理Json文件并将处理后的数据写入新文件

问题描述

事情是这样的，朋友让我处理一个json文件并将处理后的数据写入新文件。这个json文件的结构如下：

[
    {
        "head_img": "http://wx.qlogo.cn/mmhead/xxxxxxxxxxx",
        "nick_name": "xxxxxxx",
        "user_name": "",
        "wxid": "wxid_xxxxxxxxxxxx"
    },
    ...
]

这个json文件中的这个json数组大小是25w条数据，现在他只想要wxid这个属性的值，并且将它写出到一个txt的文件中，没5000个为一个txt文件，每个值为一行。也就是最后给他50个txt文件，每个里面有5000行wxid的值。

实现过程

解决问题的方法有很多，可以用python、nodejs、Java等任何你熟悉的语言实现，我这里使用nodejs来实现一下，因为它简单并且不需要引入第三方的库。

这里涉及到了文件的读取和写入，因此用到nodejs自带的fs模块。具体实现代码如下：

const fs = require("fs")    //引入fs模块
const data = fs.readFileSync('test.json','utf8');    //读取json文件
let temp = JSON.parse(data)    //将数据解析为json对象
let tempIndex = 0;    //临时索引，用来计数是否到达5000条
let tempFileCount = 1    //临时文件计数，用于计数文件名，result1...result50
temp.forEach(element => {    //遍历json数组
    if(tempIndex<5000){    //判断是否小于5000，如果是则写入当前文件，这里使用的是追加的写入方式
        fs.appendFileSync("result"+tempFileCount+".txt",element.wxid+'\r','utf8',function(err){},tempIndex++)
        
    }else{    //当tempIndex等于5000时写入新的文件，并且将文件名计数加一
        console.log("create new file")
        tempFileCount++;
        fs.appendFileSync("result"+tempFileCount+".txt",element.wxid+'\r','utf8',function(err){},console.log(tempFileCount+': 开始写入'))
        tempIndex = 0;
    }
});

用Nodejs解析json数据

nodejs是服务器端的javascript的处理平台。json(JavaScript Object Notation) 是一种轻量级的数据交换格式。我们在写服务端的程序时往往需要使用json来处理数据。

这里我们用一个简单的例子来演示如何用nodejs来处理json数据文件。

第一，我们需要在ubuntu14.04上安装nodejs，我们可以使用如下命令：

$ sudo apt-get install nodejs

安装完毕, 我们可以使用如下命令进行测试:

$ nodejs -v
v0.10.25

第二，准备一个测试json文件, test.json，内容如下:

{
  "person": {
    "name": "wanger",
    "birth": "1999"
  }
}

第三，创建js脚本来解析json文件，main.js

#!/usr/bin/nodejs
var cwd = process.argv[1].substring(0, process.argv[1].lastIndexOf("/"));
var fs = require('fs');
 
function load(file, cb) {
        fs.readFile(file, function(err, data) {
                if (err)
                        throw err;
                cb(JSON.parse(data.toString()));
        });
}
 
(function() {
        if (process.argv.length < 2) {
                console.log("usage\n\t" + process.argv[1] + " loadfile");
                return;
        }
        load(process.argv[2], function(obj) {
                console.log("%s\n", obj.person.name);
                console.log("%s\n", obj.person.birth);
        });
})();

第四，测试和运行

$ ./main.js test.json
wanger
1999

以上为个人经验，希望能给大家一个参考，也希望大家多多支持本站。

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。