使用TensorFlow 2中的生成器转换存储在CSV或parquet文件中的数据以馈送Keras lstm模型

import tensorflow as tf
import pandas as pd

data = pd.read_csv('data.csv')  # 或者使用 pd.read_parquet('data.parquet')

def data_generator(data):
    while True:
        for index, row in data.iterrows():
            # 在这里根据需要进行数据预处理
            # 例如，将文本数据转换为数值特征向量
            features = preprocess_data(row['text'])
            label = row['label']
            yield features, label

generator = data_generator(data)

model = tf.keras.Sequential([
    tf.keras.layers.LSTM(64),
    tf.keras.layers.Dense(1, activation='sigmoid')
])

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(generator, epochs=10, steps_per_epoch=len(data))