python - Pandas数据框到对象实例的数组插入批量数据库效率

我有以下形式的Pandas数据框：

Time    Temperature    Voltage    Current
0.0     7.8            14         56
0.1     7.9            12         58
0.2     7.6            15         55
... So on for a few hundred thousand rows...

我需要尽快将数据批量插入PostgreSQL数据库。这是针对Django项目的，并且我目前正在使用ORM进行数据库操作和构建查询，但是如果有更有效的方法来完成任务，则可以提出建议。

我的数据模型如下所示：

class Data(models.Model):
    time = models.DateTimeField(db_index=True)
    parameter = models.ForeignKey(Parameter, on_delete=models.CASCADE)
    parameter_value = models.FloatField()

所以Time是row[0]数据帧，然后对每个头列中，我抓住对应于它，使用报头作为值parameter。因此row[0]，示例表将Data在我的数据库中生成3个对象：

Data(time=0.0, parameter="Temperature", parameter_value=7.8)
Data(time=0.0, parameter="Voltage", parameter_value=14)
Data(time=0.0, parameter="Current", parameter_value=56)

我们的应用程序允许用户解析以毫秒为单位的数据文件。因此，我们从单个文件中生成很多单独的数据对象。我当前的任务是改进解析器，使其更加高效，直到我们在硬件级别遇到I / O约束为止。

我当前的解决方案是遍历每一行，Data为每一行创建一个对象，time + parameter + value然后将该对象附加到数组中，这样我就可以Data.objects.bulk_create(all_data_objects)通过Django。当然，我知道这是低效的，可能会有很多改进。

使用此代码：

# Convert DataFrame to dict
df_records = df.to_dict('records')

# Start empty dta array
all_data_objects = []

# Go through each row creating objects and appending to data array
for row in df_records:
    for parameter, parameter_value in row.items():
        if parameter != "Time":
            all_data_objects.append(Data(
                    time=row["Time"],
                    parameter_value=parameter_value,
                    parameter=parameter))

# Commit data to Postgres DB
Data.objects.bulk_create(all_data)

当前，对于不包含DB插入操作（写入磁盘）的整个操作（即仅生成Data对象数组），一个55mb的文件（生成大约600万个单个Data对象）大约需要370秒。仅该df_records = df.to_dict('records')线就需要83秒钟。使用time.time()每个部分的两端并计算差值来测量时间。

我该如何改善这些时间？