使用nodejs从google bucket读取多个文件并加载到BQ中

使用Node.js从Google Bucket读取多个文件并加载到BQ中，可以按照以下步骤进行：

首先，确保已经安装了Node.js和相关的依赖库。
导入所需的依赖库，包括@google-cloud/storage和@google-cloud/bigquery。可以使用npm进行安装：

npm install @google-cloud/storage
npm install @google-cloud/bigquery

创建一个Google Cloud Storage客户端实例，用于连接到Google Bucket并读取文件。在创建实例时，需要提供Google Cloud项目的凭据信息。

const { Storage } = require('@google-cloud/storage');

const storage = new Storage({
  projectId: 'your-project-id',
  keyFilename: 'path/to/keyfile.json'
});

使用bucket方法获取指定的Google Bucket实例。

const bucket = storage.bucket('your-bucket-name');

使用getFiles方法获取指定前缀的文件列表。可以使用通配符来匹配多个文件。

const prefix = 'path/to/files/*';

bucket.getFiles({ prefix }, (err, files) => {
  if (err) {
    console.error('Error retrieving files:', err);
    return;
  }

  files.forEach(file => {
    // 处理每个文件
    console.log('File:', file.name);
    
    // 加载文件到BQ中
    loadFileToBQ(file);
  });
});

创建一个Google BigQuery客户端实例，用于连接到BigQuery并加载文件。同样需要提供Google Cloud项目的凭据信息。

const { BigQuery } = require('@google-cloud/bigquery');

const bigquery = new BigQuery({
  projectId: 'your-project-id',
  keyFilename: 'path/to/keyfile.json'
});

创建一个BigQuery数据集和表，用于存储加载的文件数据。可以使用createDataset和createTable方法进行创建。

const datasetId = 'your-dataset-id';
const tableId = 'your-table-id';

const dataset = bigquery.dataset(datasetId);
const table = dataset.table(tableId);

// 创建数据集
dataset.create((err, dataset) => {
  if (err) {
    console.error('Error creating dataset:', err);
    return;
  }

  console.log('Dataset created:', dataset.id);
  
  // 创建表
  const schema = 'your-table-schema';
  
  table.create({ schema }, (err, table) => {
    if (err) {
      console.error('Error creating table:', err);
      return;
    }

    console.log('Table created:', table.id);
  });
});

创建一个加载作业，将文件数据加载到BigQuery表中。使用load方法进行加载，并指定源文件和目标表。

function loadFileToBQ(file) {
  const metadata = {
    sourceFormat: 'CSV', // 文件格式
    skipLeadingRows: 1, // 跳过文件头行
    schema: 'your-table-schema' // 表结构
  };

  table.load(file, metadata, (err, job) => {
    if (err) {
      console.error('Error loading file:', err);
      return;
    }

    job.on('error', err => {
      console.error('Error loading file:', err);
    });

    job.on('complete', () => {
      console.log('File loaded:', file.name);
    });
  });
}

以上就是使用Node.js从Google Bucket读取多个文件并加载到BigQuery中的步骤。根据具体的需求，可以调整代码中的参数和配置。同时，腾讯云也提供了类似的产品和服务，可以参考腾讯云文档进行相关操作：腾讯云产品文档。