数仓和数据湖

数仓和数据湖

功能集
功能
功能描述
参考文档
数据存储
数据缓存
云数据库SelectDB支持数据缓存功能,当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时,可以根据该文档对缓存进行有效管理,并利用LRU和TTL管理策略,以及缓存预热技术,来充分发挥数据库性能。
数据存储&模型
当您需要在不同业务场景中使用云数据库SelectDB时,深入了解其数据模型对于您的业务设计具有重要帮助。
表结构变更
您可以对云数据库 SelectDB 版数据库表结构进行调整以适应新的业务需求。
实时分析
倒排索引
您需要快速检索云数据库 SelectDB 版中的大量文本数据时,本文档将指导您如何创建和使用倒排索引,以支持您的文本检索应用,并提高检索速度。
物化视图
当您需要优化重复且耗时较长的复杂查询时,您可以使用云数据库 SelectDB 版中的物化视图功能来缓存复杂查询,实现快速访问和高效数据处理。
高并发点查
云数据库 SelectDB 版中高并发点查相关优化设计和使用指南,帮助您优化查询并发和响应延时。
索引加速
云数据库 SelectDB 版中内索引的使用以及使用时的注意事项。
文件分析
云数据库 SelectDB 版支持表函数功能(Table-Value-Function或TVF),可以将S3、HDFS等常见远端存储中的文件数据,映射成云数据库 SelectDB 版中的表,从而对这些文件数据进行分析
数据湖分析
Hive数据源
通过连接Hive Metastore,云数据库 SelectDB 版可以自动获取Hive的库表信息,进行数据查询、分析。除了Hive外,例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog,能轻松集成Hive及使用Hive Metastore作为元数据存储的系统。
Iceberg数据源
本文介绍云数据库 SelectDB 版与Iceberg数据源进行对接使用的流程,帮助您对Iceberg数据源进行联邦分析。
Hudi数据源
本文介绍云数据库 SelectDB 版与Hudi数据源进行对接使用的流程,帮助您对Hudi数据源进行联邦分析。
Paimon数据源
本文介绍云数据库 SelectDB 版与Paimon数据源进行对接使用的流程,指导您对Paimon数据源进行联邦分析。

数据集成和可视化

功能集
功能
功能描述
参考文档
数据集成
通过DataWorks导入数据
云数据库 SelectDB 版支持使用DataWorks的数据集成功能,通过SelectDB Writer导入表数据。本文以MySQL数据源为例,介绍如何通过DataWorks同步数据至云数据库 SelectDB 版。
通过Kafka导入数据
云数据库 SelectDB 版支持通过Kafka连接器(SelectDB Connector for Apache Kafka)自动订阅和同步Kafka中的数据。本文介绍SelectDB Connector同步数据至云数据库 SelectDB 版的基本原理和使用方式。
通过Flink导入数据
云数据库 SelectDB 版支持通过SelectDB提供的Flink连接器(SelectDB Connector for Apache Flink),将Kafka中的非结构化数据以及MySQL等上游业务数据库中的变更数据,实时同步到云数据库 SelectDB 版中,有效地满足海量数据的分析需求。
通过Spark导入数据
云数据库 SelectDB 版支持通过Spark SelectDB Connector,利用Spark的分布式计算能力导入大批量数据。本文介绍使用Spark SelectDB Connector同步数据至云数据库 SelectDB 版的基本原理和使用方式。
通过DataX导入数据
本文介绍使用DataX SelectDB Writer同步数据至云数据库 SelectDB 版。
OSS Load
云数据库 SelectDB 版结合OSS对象存储提供了内网高速导入功能,且单次导入数据量可达百GB级别。本文介绍如何通过OSS Load导入数据至云数据库 SelectDB 版实例中。
Stream Load
本文介绍如何通过Stream Load导入数据至云数据库 SelectDB 版实例中。
Broker Load
Broker Load是一种异步的导入方式,通过读取远端存储(如HDFS、S3)上的数据,导入数据到云数据库 SelectDB 版的表中。您可通过MySQL协议创建Broker Load导入,并通过SHOW LOAD命令检查导入结果。单次导入数据量最多可支持百GB级别。
Routine Load
本文介绍如何通过Routine Load导入数据至云数据库 SelectDB 版实例。
Inser Into
云数据库 SelectDB 版兼容标准SQL语法,可通过标准的Insert Into方式导入数据。
数据可视化
DMS数据可视化
云数据库 SelectDB 版采用MySQL网络连接协议,支持兼容MySQL生态的命令行工具、JDBC/ODBC驱动和可视化工具等连接云数据库 SelectDB 版实例。本文介绍如何通过DMS(Data Management Service)连接云数据库 SelectDB 版实例。
Quick BI数据可视化
Quick BI支持连接云数据库 SelectDB 版实例,连接成功后,您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何为Quick BI添加云数据库 SelectDB 版数据源。
Grafana数据可视化
本文介绍如何在Grafana中添加并使用云数据库 SelectDB 版数据源。
Navicat数据可视化
当您希望通过Navicat进行高效的云数据库 SelectDB 版可视化管理时,本文档提供了连接SelectDB实例的操作步骤,帮助您快速提升数据库操作的便捷性和效率。
Loading...
目录
文章列表
王小扬博客
产品
Think
Git
软件开发
计算机网络
CI
DB
设计
缓存
Docker
Node
操作系统
Java
大前端
Nestjs
其他
PHP