admin 管理员组

文章数量: 887021

devops之gcp core infrastructure fundamental, 存储

最后更新2022/02/06

gcp的存储具有广义存储的意义，不仅仅是磁盘，更具有数据持久化的含义，而且格式很多有六种类型：

  • cloud storage，这是传统存储，当然类型不是传统的FC，SCSI块设备存储，而是目标存储，说人话就是随便存的存储。那就是个目录、文件，你随便往里面扔就行了，直接用，可以跨整个internet提供，数据在传输过程中省缺就是SSL加密，对其它用户加密/保密（？不知道更确切是哪个），自由/动扩充，管理容易，没最低消费，按使用量付费。如果觉得上下传带宽不够，可以把物理介质（磁盘、磁带、USB）发送到可解收的服务站点，高速上传，也可以把定期磁带备份运到你的指定地址；
    目标存储的可设置参数：
可设定参数说明
Globally unique name保存文件，就是一堆文件都扔在里面
storage class存储（性能）级别
location（地区或多地区）指定放什么地方
IAM access policy，access list访问授权列表
Object version setting同名的还能有个版本信息（保存多份历史版本）
Object lifecycle management rule生命周期管理规则，用于设定备份、归档等等，到时自动执行相应动作，等于赠送了一个备份管理

数据如何从用户到google或反过来传送？

  1. 网络，几G，增量数据，直接网上HTTPS/SSL加密发送
  2. 定期介质发送服务，快递嘛
  3. 标准机架设备，这最安全了，可以装个密码锁，错误加电即销毁，把整个数据中心端上天（我瞎说的。。。）

cloud storage也是其它存储的基础，例如import/export进行数据表和文件间转换，保存文件在cloud storage，计算引擎也需要保存log、数据或者启动脚本到cloud storage；

  • cloud SQL，这是支持标准SQL访问的存储，格式化存储，具体保存在啥设备上，透明，未知，标准的RDBMS，两种数据库：MySQL和PostgreSQL，后台都帮你处理好了，用就是了，还要啥自行车；
    扩展性很好，最大支持64 CPU，100G以上内存（到底多少不知道），支持复制，而且可以和gcp之外的MySQL进行复制。MySQL有两代可用，二代功能强，但一代支持一些特别功能，例如支持按需运行，如果超过15分钟没人访问，自动下线，这样可节省使用费；

  • cloud spanner，这个主要面向高度扩展性，其实也是SQL协议的（SQL ANSI2011+)，如果预计未来伸缩性比较大，那么就不要用sql，用spanner。这个可以支持跨全球扩展，并保证一致性。其它特点包括支持大于2TB数据，支持join，二级索引，支持自动复制，一致性，高可用等，同时性能也很强，几万IOPS不在话下。

  • cloud bigQuery，这个一般是与大数据分析有关的应用，如果也需要RDBMS，那就要搞这个了，这个看名称，就是两个含义：大，（只能）查，特点就不用多说了；

  • cloud bigtable，这是NoSQL的存储，NoSQL其实是No Standard and SQL，而不是非SQL，就是不那么标准的SQL的意思，支持非严格一致的字段，表，用于大概差不多，有点关系又不严格的数据库，介于SQL和杂乱文本之间的一种东西。支持的查询方案是HBase：Hadoop database API，如果你原来就使用Hadoop Mapreduce，则可以直接透明过渡过来，而且无需你管理后台的支持设施；特点为：

  1. 大，支持超过1TB的结构化、半结构化数据
  2. 快，支持快速访问数据变化（有一定写一致保障）
  3. NoSQL标准兼容；
  4. 提供时间序列支持，自动按时间排序、索引
  5. 支持大数据，既能完成异步批处理，又可以进行实时处理
  6. 支持机器学习

BigTable的访问方式有3（感觉其实就是一种，哥说3种就3种吧）：

  1. API，包括Java HBase client，HBase REST，VM上运行的API支持包
  2. Stream流，可以使用framework: google dataflow stream, spark stream, storm等等，通过类似事件触发，bigtable有数据输如/变化，这边就可以触发动作
  3. Batch，Hadoop，spark，dataflow等都提供batch方式访问，定期去取数据
  • cloud datastore，与sql/spanner配套一样，bigtable与datastore配套，datastore是bigtable的扩展版，支持原子操作，高可用、高扩展，高性能，同时保证（最终）一致性；


本文标签： devops之gcp core infrastructure fundamental 存储

版权声明：本文标题：devops之gcp core infrastructure fundamental, 存储 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1686837049h40749.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。