lys
2020-12-02 11:42:49
该问题与先前的问题相关，该问题包含有关实现的更多详细信息。该解决方案建议google.cloud.storage.Client()在start_bundle()每次调用时在中创建的实例ParDo(DoFn)。它连接到相同的gcs存储桶-通过args给定WriteToText(known_args.output)
class DownloadFilesDoFn(beam.DoFn):
def __init__(self):
import re
self.gcs_path_regex = re.compile(r'gs:\/\/([^\/]+)\/(.*)')
def start_bundle(self):
import google.cloud.storage
self.gcs = google.cloud.storage.Client()
def process(self, element):
self.file_match = self.gcs_path_regex.match(element['Url'])
self.bucket = self.gcs.get_bucket(self.file_match.group(1))
self.blob = self.bucket.get_blob(self.file_match.group(2))
self.f = self.blob.download_as_bytes()
此错误的原因很可能与与客户端的连接过多有关。对于好的做法，我尚不清楚，因为在其他地方建议你以这种方式为每个捆绑包建立网络连接。
将其添加到末尾以从捆绑包末尾的内存中删除客户端对象，将有助于关闭一些不必要的缠结连接。
def finish_bundle(self):
del self.gcs, self.gcs_path_regex
热门帖子
热门github
1
2
3
5
6
7
8
11
13
14
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)