跳到主要内容

Excel 大数据导入

大数据量的导入可以使用sax的方式:

1.3.8+ 支持

ExcelImportUtil.importExcelBySax(InputStream inputstream, Class<?> pojoClass, ImportParams params)

SAX 导入说明​

只支持 xlsx(2007+),不支持图片。pojoClass 可以是带 @Excel 注解的实体类,也可以是 Map.class。

说明内容
读取的 sheetsheetNum 表示读取的 sheet 数量,默认 0 表示读取全部 sheet,和普通导入一致;titleRows、headRows、startRows 的含义和普通导入相同
空单元格按单元格在 Excel 中的列位置取值,空单元格得到 null,不会影响它后面的列
固定列@Excel(fixedIndex = n) 按列号取值,忽略表头名称,普通导入和 SAX 导入都支持
日期按单元格样式的数字格式识别日期,日期单元格得到 Date。实体字段是 String 时,按 @Excel(format) 格式化,没有配置 format 时是 yyyy-MM-dd HH:mm:ss。日期以文本保存时,也会按 format 转成 Date
回调传入 IExcelReadRowHanlder 时逐行回调,每一行(包括最后一行)都会回调,适合数据量大的场景

导入成 Map​

不想为一次性的导入定义实体类时,可以直接导入成 Map:

ImportParams params = new ImportParams();
params.setSheetNum(1);
List<Map<String, Object>> list = ExcelImportUtil.importExcelBySax(inputStream, Map.class, params);
  • 每一行是一个 LinkedHashMap,key 是表头,按列顺序放入。每个表头都有对应的 key,空单元格的值是 null,表头为空的列会被跳过
  • value 的类型:文本是 String,数字是 BigDecimal,日期是 Date。注意普通导入(importExcel)导入成 Map 时,数字和日期都是 Double,两种方式的类型不同

什么场景该用哪个方法

- 导出
1.正规excel导出 (格式简单,数据量可以,5W以内吧)
注解方式: ExcelExportUtil.exportExcel(ExportParams entity, Class<?> pojoClass,Collection<?> dataSet)
2.不定多少列,但是格式依然简单数据库不大
自定义方式: ExcelExportUtil.exportExcel(ExportParams entity, List<ExcelExportEntity> entityList,Collection<?> dataSet)
3.数据量大超过5W,还在100W以内
注解方式 ExcelExportUtil.exportBigExcel(ExportParams entity, Class<?> pojoClass,IExcelExportServer server, Object queryParams)
自定义方式: ExcelExportUtil.exportBigExcel(ExportParams entity, List<ExcelExportEntity> excelParams,IExcelExportServer server, Object queryParams)
4.样式复杂,数据量尽量别大
模板导出 ExcelExportUtil.exportExcel(TemplateExportParams params, Map<String, Object> map)
5.一次导出多个风格不一致的sheet
模板导出 ExcelExportUtil.exportExcel(Map<Integer, Map<String, Object>> map,TemplateExportParams params)
6.一个模板但是要导出非常多份
模板导出 ExcelExportUtil.exportExcelClone(Map<Integer, List<Map<String, Object>>> map,TemplateExportParams params)
7.模板无法满足你的自定义,试试html
自己构造html,然后我给你转成excel ExcelXorHtmlUtil.htmlToExcel(String html, ExcelType type)
8.数据量过百万级了.放弃excel吧,csv导出
注解方式: CsvExportUtil.exportCsv(CsvExportParams params, Class<?> pojoClass, OutputStream outputStream)
自定义方式: CsvExportUtil.exportCsv(CsvExportParams params, List<ExcelExportEntity> entityList, OutputStream outputStream)
9.word导出
模板导出: WordExportUtil.exportWord07(String url, Map<String, Object> map)
- 导入
excel有单个的那种特殊读取,readSingleCell 参数可以支持
1. 不需要检验,数据量不大(5W以内)
注解或者MAP: ExcelImportUtil.importExcel(File file, Class<?> pojoClass, ImportParams params)
2. 需要导入,数据量不大
注解或者MAP: ExcelImportUtil.importExcelMore(InputStream inputstream, Class<?> pojoClass, ImportParams params)
3. 数据量大了,或者你有特别多的导入操作,内存比较少,仅支持单行
SAX方式 ExcelImportUtil.importExcelBySax(InputStream inputstream, Class<?> pojoClass, ImportParams params, IReadHandler handler)
4. 数据量超过EXCEL限制,CSV读取
小数据量: CsvImportUtil.importCsv(InputStream inputstream, Class<?> pojoClass,CsvImportParams params)
大数据量: CsvImportUtil.importCsv(InputStream inputstream, Class<?> pojoClass,CsvImportParams params, IReadHandler readHandler)