97久久精品人人澡人人爽,亚洲午夜未满十八勿入,99久久精品国产片久人

什么是Stream

在Node.js中，Stream是一種處理流式數據的接口，可以將數據視為一系列的小塊（chunk），而不是一次性加載整個數據集到內存中。這對于處理大量數據，尤其是文件導出等操作非常有用。

Node.js Stream

使用Prisma進行數據導出

數據導出的需求

在許多應用中，我們可能需要將數據庫中的數據導出到CSV、Excel或者其他格式的文件中。這通常涉及到大量的數據處理和流式寫入。

數據導出的實現

整合Query + Readable stream

使用Prisma時，我們可以通過cursor-based pagination來有效地處理大量數據。這種方式不需要像offset-based pagination那樣加載大量數據到內存中。

const fetcher = (cursor) => prisma.model.findMany({
  take: 1000,
  skip: cursor ? 1 : 0,
  cursor: cursor ? { id: cursor } : undefined,
});

轉換為Readable stream

通過將數據源轉換為Readable stream，我們可以逐塊讀取數據，而不是一次性將所有數據加載到內存中。

const streamQuery = (fetcher) => {
  let cursor;
  return new Readable({
    objectMode: true,
    async read() {
      const items = await fetcher(cursor);
      if (items.length === 0) {
        this.push(null);
      } else {
        for (const item of items) {
          this.push(item);
        }
        cursor = items[items.length - 1].id;
      }
    },
  });
};

格式化并輸出到Excel

使用Transform處理數據

將數據流轉換為Excel格式，我們可以使用Transform stream。

const formatter = new Transform({
  objectMode: true,
  transform(chunk, _, callback) {
    callback(null, [chunk.a, chunk.b, chunk.c]);
  },
});

queryStream.pipe(formatter);

使用Writable接收數據

最后，我們使用Writable stream將格式化后的數據寫入Excel文件。

import Excel from 'exceljs';

const exportToXlsxStream = (header) => {
  const reader = new PassThrough();
  const workbook = new Excel.stream.xlsx.WorkbookWriter({
    stream: reader,
  });

  const worksheet = workbook.addWorksheet('exported');
  const columns = header.map(h => ({ header: h, key: h }));
  worksheet.columns = columns;

  const writer = new Writable({
    objectMode: true,
    write(chunk, _, callback) {
      worksheet.addRow(chunk).commit();
      callback();
    },
  });

  writer.on('finish', async () => {
    worksheet.commit();
    await workbook.commit();
  });

  return { reader, writer };
};