gaojingsong的博客 -凯发k8国际

`
gaojingsong
  • 浏览: 1124910 次
  • 性别:
  • 来自: 深圳
博主相关
  • 博客
  • 微博
  • 相册
  • 收藏
    • 文章分类
    社区版块
    • ( 4)
    • ( 0)
    • ( 80)
    存档分类
    最新评论
    文章列表
     
    京东金融中间件团队在分析了这些实现方式利弊后，根据自身业务特点实现了基于客户端的分库分表中间件cds，即completed database sharding。   cds是一个基于客户端开发的分库分表中间件产品，实现了jdbc标准api，支持分库分表、读写分离和数据运维等诸多功能，提供高性能、高并发和高可靠的海量数据路由存取服务，业务系统可近乎零成本进行接入，目前支持mysql、oracle和sql server三种数据库集群。   cds原理概述 cds driver是cds中间件的核心模块，实现jdbc标准api，以jar包形式部署在应用端，完成数据路由、连接池管理、读写分离和 ...
    • 2019-03-22 22:23
    • 浏览 1172
    • 分类:数据库
    安装的过程中有这样的一句话： a random password has been set for the mysql root user !you will find that password in '/root/.mysql_secret'. you must change that password on your first connect,no other statement but 'set password' will be accepted. see the manual for the semantics of ...
    • 2018-06-18 08:45
    • 浏览 1126
    • 分类:数据库
    1.1 什么是zdal?     zdal是支付宝自主研发的数据中间件产品，采用标准的jdbc规范，可以在分布式环境下看上去像传统数据库一样提供海量数据服务，是一种通用的分库分表数据库访问框架。   1.2 它能解决什么问题？     它能在数据访问压力过大时，解决单库单表数据库访问压力，zdal主要提供分库分表，分散压力，结果集合并，sql解析，数据库failover动态切换等功能，提供互联网金融行业的数据访问层统一凯发k8国际娱乐官网入口的解决方案，   1.3 实际运用    目前已经在支付宝的交易，支付，会员，金融等大部分关键应用上使用，并且在2013年双11大促中运行稳定。     2.1 ...
    • 2018-06-06 20:56
    • 浏览 1695
    • 分类:数据库
    cetus是由c语言开发的关系型数据库mysql的中间件，主要提供了一个全面的数据库访问代理功能。cetus连接方式与mysql基本兼容，应用程序几乎不用修改即可通过cetus访问数据库，实现了数据库层的水平扩展和高可用。   主要功能� ...
    • 2018-05-26 13:29
    • 浏览 971
    • 分类:数据库
    所谓sql注入，就是通过把sql命令插入到web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的sql命令。具体来说，它是利用现有应用程序，将（恶意的）sql命令注入到后台数据库引擎执行的能力，它可以通过在web表单中输入（恶意）sql语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行sql语句。比如先前的很多影视网站泄露vip会员密码大多就是通过web表单递交查询字符暴出的，这类表单特别容易受到sql注入式攻击．     原理 sql注入攻击指的是通过构建特殊的输入作为参数传入web应用程序，而这些输入大都是sql语法里的一些组合，通过执行sq ...
    • 2018-01-17 22:56
    • 浏览 1009
    • 分类:数据库
    amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 amoeba formysql软件。这个软件致力于mysql的分布式数据库前端代理层，它主要在应用层访问mysql的时候充当sql路由功能，专注于分布式数据库代理层（database proxy）开发。   amoeba for mysql致力于mysql的分布式数据库前端代理层，它主要在应用层访问mysql的时候充当query 路由功能，专注 分布式数据库 proxy 开发。座落与client、db server(s)之间。对客户端透明。具有负载均衡、高可用性、query过滤、读写分离、可路由相关的query到目标数据库、 ...
    dble是上海爱可生信息技术股份有限公司基于mysql的高可扩展性的分布式中间件，存在以下几个优势特性：   dble 是基于开源项目mycat的,专注于mysql是一个更好的选择。 所以取消了对其他数据库的支持，对兼容性，复杂查询和分布式事务的行为进行了深入的改进/优化。       数据水平拆分 随着业务的发展，您可以使用dble来替换原始的单个mysql实例。 兼容mysql 与mysql协议兼容，在大多数情况下，您可以用它替换mysql来为你的应用程序提供新的存储，而无需更改任何代码。 高可用性 dble服务器可以用作集群，业务不会受到单节点故障的 ...
    openddal sql引擎把sql类为4类 无数据表访问的sql，如：select 1 1, select seq.nextval等，此类sql直接于openddal sql引擎直接处理。 joinfree sql,sql无需按表进行折分，通过路由规则计算的结果只一个结点上执行，openddal无需作任何的处理，直 ...
    • 2017-09-23 23:03
    • 浏览 701
    • 分类:数据库
          这里只介绍两种最长使用的 innodb 和 myisam 区别 1. 事务的支持不同（innodb支持事务，myisam不支持事务） 2. 锁粒度（innodb行锁应用，myisam表锁）
    • 2017-09-18 23:07
    • 浏览 845
    • 分类:数据库
    【java ee之基础面试题】  永久链接: http://gaojingsong.iteye.com/blog/2386483   1、什么是事物   2、为什么要有数据库？即数据库与excel、文件系统区别   3、数据库事物的隔离级别   4、数据库系统的特性即事物的特性?   5、什么是分布式事物？为什么要有分布式事物？   6、wal与shadow paging的区别？   7、数据库范式   8、base原则   9、cap理论   10.非关系型数据库有哪些？   11、数据库完整性设计   12.sql优化原则 ...
    dbeaver是免费和开源（gpl）为开发人员和数据库管理员通用数据库工具。 易用性是该项目的主要目标，是经过精心设计和开发的数据库管理工具。免费、跨平台、基于开源框架和允许各种扩展写作（插件）。 它支持任何具有一个jdbc驱动程序数据库。 它可以处理任何的外部数据源。     dbeaver经官方测试，其支持：mysql、oracle、postgresql、ibm db2、microsoft sql server、sybase、odbc、java db (derby)、firebird (interbase)、hsqldb、sqlite、mimer、h2、ibm informix ...
    • 2017-08-10 21:17
    • 浏览 1799
    • 分类:数据库
    sharding-method分表分库的新思路——服务层sharding框架，全sql、全数据库兼容，acid特性与原生数据库一致，能实现rr级别读写分离，无sql解析性能更高   目前国内主流的sharding框架都是基于sql来完成，其主要流程： 1)是解析上层传入的sql 2)结合对应的分表分库配置，对传入的sql进行改写并分发到对应的单机数据库上 3)获得各个单机数据库的返回结果后，根据原sql归并结果，返回用户期待的结果   这种实现希望提供一个屏蔽底层sharding逻辑的凯发k8国际娱乐官网入口的解决方案，对上层应用来说，只有一个rdb,这样应用可以透明访问多个数据库。     然而， ...
    mysql之跨主机查询，mysql的dblink的功能目前是具有federated存储引擎 。federated属于 mysql的一种特殊引擎，利用它可将本地数据表映射至远程 mysql 数据表，从而就可以解决应用程序中繁多的跨机器连接数据库问题   查看本地数据库是否支持跨节点查询 修改，本地数据库配置，再次验证   跨节点查询方案一： 方案一验证： 跨节点查询方案二：  建表语句 方案二验证：  高级功能： server信息的存储  se
    innodb存储引擎有三大特性非常令人激动，它们分别是插入缓冲、两次写和自适应哈希 1、doublewrite buffer（mysql官方的介绍）   innodb uses a novel file flush technique called doublewrite. before writing pages to the data files, innodb first writes them to a contiguous area called the doublewrite buffer. only after the write and the flush to the ...
    • 2017-07-26 23:15
    • 浏览 1053
    • 分类:数据库
    kingshard 是一个由珠海金山wps 云平台团队陈非（@flikecn ）使用go开发高性能mysql proxy项目，kingshard在满足基本的读写分离的功能上，致力于简化mysql分库分表操作；能够让dba通过kingshard轻松平滑地实现mysql数据库扩容。   陈非（@flikecn ）。 2013年硕士毕业于电子科技大学，同年加入奇虎360的web平台部，从事atlas数据库中间件的设计与研发工作。2015年初加入了珠海金山wps 云平台团队。新团队主要以go作为开发语言，正是由于在新的工作中体会到了go语言的开发效率很高，才萌发了写一个简单好用的go版本的mysq ...
    • 2017-07-24 19:28
    • 浏览 1519
    • 分类:数据库
    monoql is an ajax web application to manage mysql databases. monoql will provide all major features of phpmyadmin for mysql, including database & table design, data browsing & editing, advanced querying & more. mysql 4 , mysql 5 and mysql 6 supported.          环境装备  ...
    mysql group replication is a mysql server plugin that provides distributed state machine replication with strong coordination between servers. servers coordinate themselves automatically, when they are part of the same replication group.     一般主从复制，有三个线程参与，都是单线程：binlog dump(主) ----->io thread ...
    monoql is an ajax web application to manage mysql databases. monoql will provide all major features of phpmyadmin for mysql, including database & table design, data browsing & editing, advanced querying & more. mysql 4 , mysql 5 and mysql 6 support      monoql是一个采用php ext js开发的mysql ...
     
    oneproxy是由原支付宝首席架构师楼方鑫开发，目前由楼方鑫创立的杭州平民软件公司（@平民架构）提供凯发k8国际的技术支持。目前已有多家公司在生成环境中使用，其中包括了支付、电商等行业。   oneproxy的主要功能有： 1. 垂直分库 2. 水平分表 3. proxy集群 4. 读高可用 5. 读写分离（master不参与读） 6. 读写分离（master参与读） 7. 写高可用 8. 读写随机     oneproxy for mysql是一款基于mysql协议的数据库中间件，运行在应用程序和mysql数据库之间，为应用程序提供智能透明的sql路由和流量分析功能。可以帮助大 ...
    innodb概述 innodb给mysql提供了具有提交，回滚和崩溃恢复能力的事务安全（acid兼容）存储引擎。innodb锁定在行级并且也在select语句提供一个oracle风格一致的非锁定读。这些特色增加了多用户部署和性能。没有在innodb中扩大锁定的� ...
    • 2017-07-12 21:25
    • 浏览 1064
    • 分类:数据库
    一、索引分类：  索引列数分类    单列索引    多列索引(复合索引)   类型分类： 普通索引(normal index)：最基本的索引，没有任何限制 主键索引(primary)：它 是一种特殊的唯一索引，不允许有空值。一般是在建表的时候同 ...
    • 2017-07-07 11:31
    • 浏览 1472
    • 分类:数据库
    sysbench是一款开源的多线程性能测试工具，可以执行cpu/内存/线程/io/数据库等方面的性能测试。   数据库目前支持mysql/oracle/postgresql。本文只是简单演示一下几种测试的用法，后续准备利用sysbench来对mysql进行一系列的测试。具体的一些参数设置，需要根据不同的测试要求来进行调整。     sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具，可以用来进行cpu、内存、磁盘i/o、线程、数据库的性能测试。目前支持的数据库有mysql、oracle和postgresql。当前功能允许测试的系统参数有： file i/o perf ...
    linkbench is a database benchmark developed to evaluate database performance for workloads similar to those of facebook's production mysql deployment. linkbench is highly configurable and extensible. it can be reconfigured to simulate a variety of workloads and plugins can be written for benchmarkin ...
    glb (galera load balancer) 是一个与 pen 类似的 tcp 负载均衡器，它功能没有 pen 那么强大，其主要的目的是做一个非常快速的 tcp 协议代理。通过利用多核cpu的优势，glb 的速度有显著的提升。     pen 是一个负载均衡器，支持 udp 和 tcp 基础协议，比如 http 和 smtp，在外部允许把多个服务器显示为一个，可以自动检测可用服务器上的分布式客户端和停掉的服务器。pen 提供高可用性，高性能的特性。 这个负载算法会继续追踪客户端，也会尝试把他们访问的最后时间发送给服务器。客户端表有大量的插槽（默认是 2048，通过命令行参数可设 ...
    要对mysql的运行性能进行监控的话工具也非常多。强大复杂的有 oracle官方提供的mysql 企业监控器（当然是收费的），当然开源的配置nagios、cacti上运行的mysql-monitor插件也不少。而想要实时的观察的话，也有mytop、mycheckpoint(绘图显示)、mtop（托管在sourceforge，从04年至今没见更新了。还有一个mongodb 的监控工具也要mtop，托管在github）等等。   该工具说白了就是一段perl脚本，依赖于别外一个perl包。凯发k8国际娱乐官网入口主页上作者说的也比较明白了：   it runs on most unix systems (inc ...
    问题背景：用到group by 语句查询5.7版本时com.mysql.jdbc.exceptions.jdbc4.mysqlsyntaxerrorexception: expression #2 of select list is not in group by clause and contains nonaggregated column 'col_user_6.a.start_time' which is not functionally dependent on columns in group by clause; this ...
    sohu-dbproxy是由 搜狐 数据库团队开发维护的一个基于mysql协议的数据中间层项目。它在mysql官方推出的mysql-proxy 0.8.3版本的基础上， 修改了大量bug，添加了很多功能特性。现在已经在sohu的多个业务线上使用   dbproxy 兼容 mysql 协议，可以用任何 5.1/5.5 客户端连接，支持 jdbc，php，odbc，c 驱动，c3p0，dbcp 连接池。jdbc，php，c 驱动已经测试通过。支持动态扩展，自动实现读 写分离。   dbproxy 是 sohu dba 团队开发的产品，参考了开源产品 mysql proxy 0.8.3 ...
    timo源于[cobar] ,timo是分布式mysql数据库中间件，支持数据的水平、垂直拆分，支持分库分表，支持读写分离，支持结果集合并，支持故障自动切换 https://github.com/gaojingsong/timo   timo中的术语   下面是一些在timo的代码或者文档中可能会用到的术语：   逻辑数据库：timo用户眼中的一个表的集合 逻辑数据表：timo用户眼中的一个表 物理数据库：mysql上的一个数据库，由ip、端口、数据库名唯一标识 物理数据表：mysql数据库中的一个表 mysql实例：mysql服务，由ip、端口唯一标识 配置库：存放t ...
    一、配置文件 [root@master ~]# cat  /opt/haproxy-1.5.0/mysql_haproxy.cfg  global     log         127.0.0.1 local2     chroot      /var/lib/haproxy     pidfile     /var/run/haproxy.pid     maxconn     4000     #user        haproxy     #group       haproxy     daemon     # turn on stats unix socke ...
    atlas运行需要依赖一个配置文件（test.cnf）。在运行atlas之前，需要对该文件进行配置。atlas的安装目录是/usr/local/mysql-proxy，进入安装目录下的conf目录，可以看到已经有一个名为test.cnf的默认配置文件，我们只需要修改里面的某些配置项，不需要从头写一个配置文件。   ###1.配置范例及说明如下： [mysql-proxy]   #(必备，默认值即可)管理接口的用户名 admin-username = user   #(必备，默认值即可)管理接口的密码 admin-password = pwd   #(必备，根据实际情况配置 ...
    • 2017-06-06 23:33
    • 浏览 683
    • 分类:数据库
    global site tag (gtag.js) - google analytics
    网站地图