详细数据：大文件Excel数据表处理

今天，我帮助我的朋友处理了一批Excel电子表格，其中的数据少于40万行。预处理后，应以可视图表的形式显示它们。首先要解决的是导入Excel电子表格数据。一开始，我计划在php中实现它。毕竟，我有一个用php编写的开源管理系统项目。如果打开，则开发速度相对较快。但是因为数据表太大，所以它总是报告内存溢出错误。后来，我尝试了一些用C ++编写的PHP扩展，发现它仍然不是理想的，并且其中许多都已经很长时间没有维护，并且不支持我当前的操作环境。

后来，我改变了主意，计划使用golang读取excel，然后将其导入mysql。 PHP查询mysql以进行简单的数据处理，然后回调到前端。前端使用echarts进行视觉显示。

以下是这种做法的日记，以便将来在执行类似功能时可以阅读。

执行部分实现代码

使用的开源组件/ 360EntSecGroup-Skylar / excelize

Excel读取xorm操作

var db *xorm.Engine
func init() {
    var err error
    db, err = xorm.NewEngine("mysql", "{username}:{password}@tcp({host})/{database}")
    if err != nil {
        panic(err)
    }
    tbMapper := core.NewPrefixMapper(core.SnakeMapper{}, "")
    db.SetTableMapper(tbMapper)
}
func GetDB() *xorm.Engine {
    return db
}

其他操作

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/shumachanpin/article-333477-1.html