使用MySQL federated 引擎构建 MySQL 分布式数据库访问层

前言:随着应用复杂度的增加,数据库不断细化切分,导致应用程序中数据库应用就得复杂,凌乱。绝大部分程序人员可能都遇到这种情况,应用程序中需要连接多台数据库服务器,进行相应的操作。随着时间积累,太多的数据库服务器的连接逻辑出现在程序之中,这给程

前言:随着应用复杂度的增加,数据库不断细化切分,导致应用程序中数据库应用就得复杂,凌乱。绝大部分程序人员可能都遇到这种情况,应用程序中需要连接多台数据库服务器,进行相应的操作。随着时间积累,太多的数据库服务器的连接逻辑出现在程序之中,这给程序的维护扩展,数据库维护工作带来极大的工作量。

于是一些分布式数据库代理层应运而生,如常见 MySQL 代理层 :

mysql proxy : 主要实现读写分离和负载均衡

MySQL Amoeba : 由陈思儒主导开发 功能比较完善,用深入应用的价值。

HiveDB : HiveDB是一个用来横向切分 mysql 数据库的开源框架,构建一个高性能和可扩展的基于 mysql 的系统,但目前仅支持 Java 客户端。

我认为mysql proxy, MySQL Amoeba 都是极好的实用价值,应该多深入了解之。

而本文所描述的 federated属于 MySQL的一种特殊引擎,利用它可将本地数据表映射至远程 MySQL 数据表,从而就可以解决应用程序中繁多的跨机器连接数据库问题,拓扑图如下:

如此就可以构造出一个统一的数据访问入口,就大大提高了整个数据库系统的可维护性。

Federated引擎是基于表级别的,只能将本地数据表定义为 Federated 引擎并映射至远程实体表,无法实现基于库级别的整体映射。

在本文中,我们将启用Federated 引擎的数据库访问入口服务器称为本地数据库,而将本地数据表对应的远程数据表,称之为实体表。

本地数据库需要启用Federated 引擎支持,而远程数据表无须 Federated 引擎支持。 Federated 引擎表使用标准的 MySQL 客户端协议与远程数据库建立 TCP 连接。

创建Federated 表的过程:

1.  以root 登录远程 MySQL ,上创建合适的访问账号

  grant all on DB1.* to ‘federated’@’%’ identified by ‘federated’;

flush privileges;

2.   在远程MySQL 找到对应实体表的创建命令(如果是新表,请先建立好数据表,再执行此命令)

假设在远程mysql 上有库名 DB1,  表名 tag,  执行以下命令找到远程表的结构:

show create table DB1.tag

输出:

CREATE TABLE `tag` (

`id` int(10) unsigned NOT NULL AUTO_INCREMENT,

`name` varchar(128) NOT NULL,

`frequency` int(10) unsigned NOT NULL DEFAULT ‘1’,

PRIMARY KEY (`id`)

) ENGINE=MyISAM AUTO_INCREMENT=6 DEFAULT CHARSET=utf8

3.  假设我们要将远程的DB1.tag 映射至本地 DB.TableA 表上。那么我们应该保持本地虚拟表与远程实体表结构一致(结构可以有所差异,但会造成使用,管理上的麻烦)。根据远程实体表的创建命令,创建本地虚拟表 ( 结构部分完全一样,创建表选项有所差异 ) :

登录本地Mysql 服务器,创建相应的数据库及表:

create database DB;

use DB;

CREATE TABLE `TableA` (

`id` int(10) unsigned NOT NULL AUTO_INCREMENT,

`name` varchar(128) NOT NULL,

`frequency` int(10) unsigned NOT NULL DEFAULT ‘1’,

PRIMARY KEY (`id`)

) ENGINE=federated connection=”mysql://federated:federated@127.0.0.1:3306/DB1/tag”;

这时,即建立好了federated 虚拟表,实际上本地 MySQL 只创建了表定义文件 , 而没有数据文件。我们对本地虚拟表的数据修改,均会发送到远程机器上执行。

本地虚拟表名与远程表名,可不相同。

经过测试,这个引擎的一些额外特点:

1. 本地虚拟表与远程实体表之间是 TCP 长连接,并且是多个客户端利用的。所以不用担心因频繁建立连接带来的网络开销。

2.  本虚拟表表与远程实体表之间的网络连接断开后,当对虚拟表发起查询时,它会尝试重新连接远程实体表,所以我们不用担心网络连接断开造成的永久中断问题。

3.   如果无时间未对本地虚拟表作任何操作,虚拟表与实体表之间的连接将在远程主机的 wait_timeout 秒后自动断开,当对虚拟表发起查询时,连接又会重新建立。

一些注意事项:

1. 对本地虚拟表的结构修改,并不会修改远程表的结构

2.  truncate 命令,会清除远程表数据

3.  drop命令只会删除虚拟表,并不会删除远程表

4.  不支持 alter table 命令

目前使用federated 最大的缺点:

1. select count(*), select * from limit M, N 等语句执行效率非常低,数据量较大时存在很严重的问题,但是按主键或索引列查询,则很快,如以下查询就非常慢(假设 id 为主索引)

select id from db.tablea where id >100 limit 10 ;

而以下查询就很快:

select id from db.tablea where id >100 and id
2.  如果虚拟虚拟表中字段未建立索引,而实体表中为此字段建立了索引,此种情况下,性能也相当差。但是当给虚拟表建立索引后,性能恢复正常。

3. 类似 where name like “str%” limit 1 的查询,即使在 name 列上创建了索引,也会导致查询过慢,是因为

federated引擎会将所有满足条件的记录读取到本,再进行 limit 处理。

这几个问题已经严重影响了federated 在实际环境中的应用。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。

发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/1702328.html

(0)
上一篇 2025年2月19日 14:52:46
下一篇 2025年2月19日 14:53:00

AD推荐 黄金广告位招租... 更多推荐

相关推荐

  • php操作mysql数据库的扩展有哪些

    PHP 提供多种 MySQL 扩展:MySQLi:推荐用于 PHP 5.3 及以上版本,提供面向对象接口和高性能。PDO:可访问多种数据库的通用抽象层, 提供一致的接口。MySQLdb:已弃用,已被 MySQLi 取代。选择扩展时,应考虑 …

    2025年2月23日
    000
  • 使用PHP开发web应用程序有哪些优势

    PHP在Web应用程序开发中的优势:1. 开源免费;2. 易于学习;3. 丰富的库和框架;4. 跨平台兼容性;5. 与数据库无缝集成;6. 高效性能;7. 庞大的社区支持;8. 广泛的行业应用。 PHP开发Web应用程序的优势 PHP作为一…

    2025年2月23日
    100
  • php制作地图数据库应该储存哪些属性

    PHP 地图数据库属性包括:几何属性:表示要素形状(geom)。非几何属性(元数据):唯一标识符(id)、名称(name)、描述(description)、类型(type)、其他属性(properties)、标签(tags)、可见性(vis…

    2025年2月23日
    100
  • 在使用php时需要用到哪些软件

    成功使用 PHP 所需软件:文本编辑器或集成开发环境(IDE)Web 服务器PHP 解释器数据库管理系统(DBMS) 使用 PHP 所需软件 PHP (超文本预处理语言) 是一种广泛用于 Web 开发的脚本语言。为了成功使用 PHP,您需要…

    2025年2月23日
    100
  • php程序员需要掌握的技能有哪些

    PHP 程序员必备技能:1. 核心 PHP 语言基础,包括语法、数据类型、控制流和函数;2. 面向对象编程;3. Web 开发:HTML、CSS、JavaScript、HTTP 协议、服务器端编程;4. 数据库:SQL 查询语言、DBMS、…

    2025年2月23日
    100
  • PHP高级工程师具备哪些技能

    PHP 高级工程师必备技能包括:精通 PHP 编程语言,包括其核心概念和语法。掌握流行的 PHP 框架和库。熟练数据库管理,包括关系型和非关系型数据库。擅长性能优化和云计算。具备沟通、团队合作、解决问题和批判性思维等软技能。持续关注职业发展…

    2025年2月23日
    100
  • php如何配置mysql

    为 PHP 配置 MySQL 需要按以下步骤操作:安装 MySQL 扩展。编辑 php.ini 配置文件,启用扩展。创建包含 MySQL 连接信息的凭证文件。在 PHP 脚本中使用 mysqli_connect() 函数连接到 MySQL。…

    2025年2月23日
    100
  • php怎么实现修改数据功能

    PHP 中修改数据库数据的步骤如下:建立数据库连接。准备 SQL UPDATE 语句,指定表、列和新值。执行 SQL UPDATE 语句。检查影响的行数。 PHP 修改数据功能 如何实现 PHP 修改数据功能? PHP 中可以通过使用 SQ…

    2025年2月23日
    100
  • php代码增删改查怎么实现的

    PHP 中 CRUD 操作包括:连接数据库增(插入新记录)删(删除记录)改(更新记录)查(查询记录) PHP 增删改查的实现 PHP 中的增删改查(CRUD)操作是数据库操作的基本功能,用于管理数据库中的数据。以下是实现 CRUD 操作的步…

    2025年2月23日
    100
  • php有多少个内建的函数

    PHP 内置了 8147 个函数,分类包括:字符串函数、数组函数、数学函数、日期时间函数、文件函数、错误处理函数和数据库访问函数。获取内建函数列表可使用 get_defined_functions() 函数。 PHP 内建函数的数量 PHP…

    2025年2月23日
    100

发表回复

登录后才能评论