系统的概念 三款新功能发布,助力阿里云表格存储再次升级

电脑杂谈  发布时间:2018-02-14 06:29:06  来源:网络整理

系统的概念_系统概念 pdf_系统概念第六版

三款新功能发布,助力阿里云表格存储再次升级

python

sdk

高并发

配置

同步

数据同步

表格存储

存储

摘要:阿里云表格存储于近期功能再升级,升级后的表格存储支持对DataHub采集的数据进行持久化存储,其Python SDK新增支持Python 3.x,以及最新发布的TimelineLib能够帮助用户轻松构建千万级IM和Feed流系统。

阿里云表格存储于近期功能再升级,升级后的表格存储支持对DataHub采集的数据进行持久化存储,其Python SDK新增支持Python 3.x,以及最新发布的TimelineLib能够帮助用户轻松构建千万级IM和Feed流系统。

功能一:支持对DataHub采集的数据进行持久化存储

阿里云表格存储支持对DataHub采集的数据进行持久化存储。用户可以通过DataHub服务对各种移动设备、应用软件、网站服务、传感器等产生的大量流式数据进行持续不断的采集,并实时写入到表格存储中进行持久化存储,基于表格存储提供低成本、弹性与高性能的数据服务。

据了解,该新功能适合使用DataHub进行数据采集并对数据有持久化存储与服务需求的用户。系统的概念

持久化存储功能的实现依赖DataHubDataConnector功能将DataHub服务中的流式数据同步到其他云产品中,目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、Elasticsearch、RDSMysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据,并在DataHub服务中配置好同步功能,便可以在各个云产品中使用这份数据。系统的概念数据同步支持at least once语义,在网络服务异常等小概率场景下可能会导致目的端的数据产生重复。

??

前置条件

创建TableStore DataConnector主要需要如下前置条件:

系统概念第六版_系统的概念_系统概念 pdf

·??TableStore相关信息,包括TableStore服务的Endpoint、TableStore实例及其对应的Table;

·??DataHub Topic的Owner/Creator账号,才有相应的权限操作DataConnector,包括创建,删除等;

·??TableStore表的主键列必须在DataHub Topic下有字段一一对应(定义顺序可以不一致);

·??授权服务角色AliyunDataHubDefaultRole,使得DataHub可以访问用户的TableStore资源()。

操作流程

1. 进入Topic的详情页面:

1d03bfc290764c2171ac674361c055d78d14de5e

2. 选择同步TableStore并填写相关配置:

8a53f272895e48817a538cbdf5fd5090dc76c314

3. 在DataConnector页面查看数据归档状态:

3045186bd513655dfd38a4692b2a07b48eca9b3f

配置说明

??

注意事项

·??TableStore表的主键列必须在对应的DataHub Topic下存在同名的字段,由于DataHub大小写不敏感,所以TableStore的主键名如果存在大写字母,那么在DataHubTopic有对应小写字段;

·??同步TableStore表的DataConnector任务仅支持TUPLE类型Topic;

·??TableStore服务端自身的限制最大每次批量写入的行数为200,具体TableStore的相关限制请参考https://help.aliyun.com/document_detail/27301.html。

??

系统的概念_系统概念第六版_系统概念 pdf

功能二:表格存储Python SDK支持Python 3.x

TableStore Python SDK 从现在开始可以支持Python3了,Python的3.0版本,相对于Python的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0在设计的时候没有考虑向下兼容,所以Python2和Python3有较大的不兼容。目前已经有大量的项目和系统开始使用Python 3,Python官方对于Python 2的支持也将在未来3年内放弃支持。


本文来自电脑杂谈,转载请注明本文网址:
https://www.pc-fly.com/a/shumachanpin/article-76888-1.html

相关阅读
    发表评论  请自觉遵守互联网相关的政策法规,严禁发布、暴力、反动的言论

    热点图片
    拼命载入中...