http://www.ox-holdings.com

目前移动端数据库方案按其实现可分为两类,iOS 数据库框架对比分析    

摘要微信开发团队宣布将微信自用的移动端数据库组件 WCDB(WeChat Database)正式对外开源。前言微信团队两周前预告即将开源WCDB后(详见当时资讯《[资讯] 微信移动端数据库组件WCDB即将开源!》),于2017年06月09日正式开源了微信自用的移动端数据库组件 WCDB(WeChat Database)。WCDB简介WCDB是一个高效、完整、易用的移动数据库框架,基于 SQLCipher,支持 iOS、macOS 和 Android。微信高级工程师何俊伟表示:“开源只是故事的开始,我们仍会持续对 WCDB 做改进,包括更易用的接口、更好的性能、更高的可靠性。这些改进最终也会原封不动地在微信使用。”WCDB(WeChatDataBase)是微信官方的移动端数据库组件,致力于提供一个高效、易用、完整的移动端存储方案。它包含三个模块:WCDB-iOS/Mac;WCDB-Android;数据库损坏修复工具WCDBRepair。WCDB的开发背景对于iOS开发者来说,数据库的技术选型一直是个令人头痛的问题。由于Apple提供的CoreData框架差强人意,使得开发者们纷纷将目光投向开源社区,寻找更好的存储方案。 对于微信也是如此。数据库是微信内最基础的组件之一,消息收发、联系人、朋友圈等等业务都离不开数据库的支持。为了满足需求,我们也对现有方案做了对比研究。目前移动端数据库方案按其实现可分为两类:关系型数据库,代表有CoreData、FMDB等。CoreData 它是苹果内建框架,和Xcode深度结合,可以很方便进行ORM;但其上手学习成本较高,不容易掌握。稳定性也堪忧,很容易crash;多线程的支持也比较鸡肋。FMDB 它基于SQLite封装,对于有SQLite和ObjC基础的开发者来说,简单易懂,可以直接上手;而缺点也正是在此,FMDB只是将SQLite的C接口封装成了ObjC接口,没有做太多别的优化,即所谓的胶水代码(Glue

摘要WCDB(WeChat DataBase)是微信官方的移动端数据库组件,致力于提供一个高效、易用、完整的移动端存储方案。目前正在筹备开源中。WCDB简介WCDB(WeChatDataBase)是微信官方的移动端数据库组件,致力于提供一个高效、易用、完整的移动端存储方案。它包含三个模块:WCDB-iOS/MacWCDB-Android数据库损坏修复工具WCDBRepair目前正在筹备开源中。WCDB的开发背景对于iOS开发者来说,数据库的技术选型一直是个令人头痛的问题。由于Apple提供的CoreData框架差强人意,使得开发者们纷纷将目光投向开源社区,寻找更好的存储方案。 对于微信也是如此。数据库是微信内最基础的组件之一,消息收发、联系人、朋友圈等等业务都离不开数据库的支持。为了满足需求,我们也对现有方案做了对比研究。目前移动端数据库方案按其实现可分为两类:关系型数据库,代表有CoreData、FMDB等。CoreData 它是苹果内建框架,和Xcode深度结合,可以很方便进行ORM;但其上手学习成本较高,不容易掌握。稳定性也堪忧,很容易crash;多线程的支持也比较鸡肋。FMDB 它基于SQLite封装,对于有SQLite和ObjC基础的开发者来说,简单易懂,可以直接上手;而缺点也正是在此,FMDB只是将SQLite的C接口封装成了ObjC接口,没有做太多别的优化,即所谓的胶水代码(Glue

 图片 1

前言

移动端的数据库选型一直是一个难题,直到前段时间看到了WeMobileDev(微信前端团队)放出了第三个开源组件-WCDB

WCDB(WeChat DataBase)是微信官方的移动端数据库组件,致力于提供一个高效、易用、完整的移动端存储方案

微信团队已于2017年06月09日正式开源了微信自用的移动端数据库组件 WCDB(WeChat Database),详见《[资讯] 微信正式开源移动端数据库组件WCDB!》。

Code)。使用过程需要用大量的代码拼接SQL、拼装Object,并不方便。key-value数据库,代表有Realm、LevelDB、RocksDB等。Realm因其在各平台封装、优化的优势,比较受移动开发者的欢迎。对于iOS开发者,key-value的实现直接易懂,可以像使用NSDictionary一样使用Realm。并且ORM彻底,省去了拼装Object的过程。但其对代码侵入性很强,Realm要求类继承RLMObject的基类。这对于单继承的ObjC,意味着不能再继承其他自定义的子类。同时,key-value数据库对较为复杂的查询场景也比较无力。可见,各个方案都有其独特的优势及劣势,没有最好的,只有最适合的。而对于微信来说,我们所期望的数据库应满足:高效;增删改查的高效是数据库最基本的要求。除此之外,我们还希望能够支持多个线程高并发地操作数据库,以应对微信频繁收发消息的场景。易用;这是微信开源的原则,也是WCDB的原则。SQLite本不是一个易用的组件:为了完成一个查询,往往我们需要写很多拼接字符串、组装Object的胶水代码。这些代码冗长繁杂,而且容易出错,我们希望组件能统一完成这些任务。完整;数据库操作是一个复杂的场景,我们希望数据库组件能完整覆盖各种场景。包括数据库损坏、监控统计、复杂的查询、反注入等。显然,上述各个方案都不能完全满足微信的需求。于是,我们造了这个“轮子”

WCDB-iOS/Mac。WCDB通过ORM和WINQ,体现了其易用性上的优势,使得数据库操作不再繁杂。同时,通过链式调用,开发者也能够方便地获取数据库操作的耗时等性能信息。而高级用法则扩展了WCDB的功能和用法。详情请见:《微信移动端数据库组件WCDB系列(一)-iOS基础篇》WCDB源码下载WCDB源码托管地址:

Code)。使用过程需要用大量的代码拼接SQL、拼装Object,并不方便。key-value数据库,代表有Realm、LevelDB、RocksDB等。Realm因其在各平台封装、优化的优势,比较受移动开发者的欢迎。对于iOS开发者,key-value的实现直接易懂,可以像使用NSDictionary一样使用Realm。并且ORM彻底,省去了拼装Object的过程。但其对代码侵入性很强,Realm要求类继承RLMObject的基类。这对于单继承的ObjC,意味着不能再继承其他自定义的子类。同时,key-value数据库对较为复杂的查询场景也比较无力。可见,各个方案都有其独特的优势及劣势,没有最好的,只有最适合的。而对于微信来说,我们所期望的数据库应满足:高效;增删改查的高效是数据库最基本的要求。除此之外,我们还希望能够支持多个线程高并发地操作数据库,以应对微信频繁收发消息的场景。易用;这是微信开源的原则,也是WCDB的原则。SQLite本不是一个易用的组件:为了完成一个查询,往往我们需要写很多拼接字符串、组装Object的胶水代码。这些代码冗长繁杂,而且容易出错,我们希望组件能统一完成这些任务。完整;数据库操作是一个复杂的场景,我们希望数据库组件能完整覆盖各种场景。包括数据库损坏、监控统计、复杂的查询、反注入等。显然,上述各个方案都不能完全满足微信的需求。于是,我们造了这个“轮子”

WCDB-iOS/Mac。WCDB通过ORM和WINQ,体现了其易用性上的优势,使得数据库操作不再繁杂。同时,通过链式调用,开发者也能够方便地获取数据库操作的耗时等性能信息。而高级用法则扩展了WCDB的功能和用法。详情请见:《微信移动端数据库组件WCDB系列(一)-iOS基础篇》

 

微信团队怎么说

  • 基于SQLCipher

  • WCDB-iOS/Mac

  • WCDB-Android

  • 数据库损坏修复工具WDBRepair

图片 2

WCDB背景

背景

WCDB的出现可以说解决了目前移动端数据库的几个难点

  • 首先在选型上,FMDB的SQL拼接、难以防止的SQL注入;CoreData虽然可以方便ORM,但学习成本高,稳定性堪忧,而且多线程鸡肋;另外基于C语言的sqlite我想用的人也应该不多;除了上述关系型数据库之外然后还有一些其他的Key-Value型数据库,如我用过的Realm,对于ObjC开发者来说,上手倒是没什么难度,但缺点显而易见,需要继承,入侵性强,对于单继承的OC来说这并不理想,而且对于集合类型不完全支持,复杂查询也比较无力。
  • 高效

    • 多线程高并发:WCDB支持多线程读与读、读与写并发执行,写与写串行执行。

    • 批量写操作性能测试:

      批量写 ops/sec
      WCDB 458000
      FMDB 161000
  • 易用 WCDB支持一句代码即可将数据取出并组合为object

    • WINQ(WCDB语言集成查询):通过WINQ,开发者无须为了拼接SQL的字符串而写一大坨胶水代码。

    • ORM(Object Relational Mapping):WCDB支持灵活、易用的ORM。开发者可以很便捷地定义表、索引、约束,并进行增删改查操作。

    • 像这样

      [database getObjectsOfClass:WCTSampleConvenient.class
      
              fromTable:tableName 
      
              where:WCTSampleConvenient.intValue>=10 
      
              limit:20];
      
  • 完整

    • 加密:WCDB提供基于SQLCipher的数据库加密。
    • 损坏修复:WCDB内建了Repair Kit用于修复损坏的数据库。
    • WCDB提供接口直接获取SQL的执行耗时,可用于监控性能。
    • 反注入:WCDB内建了对SQL注入的保护

WCDB是微信终端的第三个开源项目。至此,微信分享出去的代码包括了热更新(即微信Tinker)、网络基础组件(详见《如约而至:微信自用的移动端IM网络层跨平台组件库Mars已正式开源》)和数据库(也就是本文所说的WCDB组件),可以说是压箱底的东西都拿了出来。


ORM

在WCDB内,ORM(Object Relational Mapping)是指

  • 将一个ObjC的类,映射到数据库的表和索引;

  • 将类的property,映射到数据库表的字段;

这一过程。通过ORM,可以达到直接通过Object进行数据库操作,省去拼装过程的目的。

WCDB通过内建的宏实现ORM的功能。如下

图片 3

image

图片 4

image

PS:但我不建议这么做,首先要避免在.h文件中引用<WCDB/WCDB.h>,因为你一旦引用,就需要改变.m文件为.mm文件,因为WCDB是基于objectiveC++;你可以使用Category特性将其隔离,在category中引用<WCDB/WCDB.h>,并遵守WCTTableCoding协议,使用WCDB_PROPERTY将声明绑定到数据库表的字段。然后在模型类中引用category。达到不印象Controller和View的目的。这点官方wiki中也有提到,使用文件模板来创建。具体请见Demo

对于一个已有的ObjC类,

  • 引用WCDB框架头文件#import <WCDB/WCDB.h>,并定义类遵循WCTTableCoding协议

  • WCDB_PROPERTY用于在头文件中声明绑定到数据库表的字段。

  • WCDB_IMPLEMENTATION,用于在类文件中定义绑定到数据库表的类。同时,该宏内实现了WCTTableCoding。因此,开发者无须添加更多的代码来完成WCTTableCoding的接口

  • WCDB_SYNTHESIZE,用于在类文件中定义绑定到数据库表的字段。

  • WCDB_PRIMARY用于定义主键

  • WCDB_PRIMARY_AUTO_INCREMENT 用于定义自增主键

  • WCDB_INDEX用于定义索引

  • WCDB_UNIQUE用于定义唯一约束

  • WCDB_NOT_NULL用于定义非空约束

说起WCDB,它是在WeChat应用程序中使用的高效,完整,易于使用的移动数据库框架,它目前在iOS,MacOS和Android上可用。

      

CRUD

得益于ORM的定义,WCDB可以直接进行通过object进行增删改查(CRUD)操作。

  • //插入
    Person *man = [[Person alloc] init];
    man.isAutoIncrement = YES;
    man.name = @"Hello, WCDB!";
    man.age = 12;
    return  [database insertObject:man into:TABLE_WCDB_NAME];
    
  • return [database deleteObjectsFromTable:TABLE_WCDB_NAME where:Person.studentId == studentId];
    
  • Person *person = [[Person alloc] init];
    person.name = content;
    return [database updateRowsInTable:TABLE_WCDB_NAME onProperties:Person.name withObject:person where:Person.studentId == studentId];
    
  • NSArray<Person *> * person = [database getObjectsOfClass:Person.class fromTable:TABLE_WCDB_NAME orderBy:Person.localID.order()];
    

Github地址:

Star数量:3312

      自己初次见到WCDB是微信开发团队公众号在今年五月份推送的一篇文章中(开发者团队的微信号上面图片中有,值得大家关注一下),那时候就说在筹备着WCDB的开源,觉得很是新奇,在两个多月前WCDB开源了!自己是最近才有时间看的WCDB,总结一下自己的理解和学习的东西,WCDB是微信团队开源的支持Android,也支持iOS,那当然也是会支持macOS的一个移动端数据库框架,FMDB估计做iOS的99.99%的都知道,就像Android开发中使用LitePal一样,都是在SQLite的基础上封装的移动数据库框架,WCDB是微信团队提供一个高效、易用、完整的移动端存储方案。 它包含三个模块:

Transaction

WCDB内可通过两种方式执行Transaction(事务),一是runTransaction:接口

图片 5

image

这种方式要求数据库操作在一个BLOCK内完成,简单易用。

另一种方式则是获取WCTTransaction对象

图片 6

image

WCTTransaction对象可以在类或函数间传递,因此这种方式也更具灵活性。

依托微信的用户量和对数据库的重度依赖,WCDB直击移动端数据库在iOS和Android平台存在的不同问题。在Android上,由于 SDK 提供的支持尚可,而且使用 NDK 开发不便,自然选择系统 API 接口进行开发,提供加密接口、数据迁移、日志重定向和各种跟踪设置等功能。 iOS 情况则有不同:系统提供的CoreData 学习成本很高、性能一般,并不那么好用,因此提升易用性、保持高效和完整,则是适用于iOS的WCDB设计的重点。

      1、WCDB-iOS/Mac

WINQ

WINQ(WCDB Integrated Query,音'wink'),即WCDB集成查询,是将自然查询的SQL集成到WCDB框架中的技术,基于C++实现。

  • 免去拼接SQL字符串、防注入
  • 借助IDE代码提示和编译器语法检查
  • 对于一个已绑定ORM的类,可以通过className.propertyName的方式,获得数据库内字段的映射
  • WINQ的接口包括但不限于:
    • 一元操作符:+、-、!等
    • 二元操作符:||、&&、+、-、*、/、|、&、<<、>>、<、<=、==、!=、>、>=等
    • 范围比较:IN、BETWEEN等
    • 字符串匹配:LIKE、GLOB、MATCH、REGEXP等
    • 聚合函数:AVG、COUNT、MAX、MIN、SUM等
    • ...

客户端数据库并不是什么“性感”的技术,比起前段时间备受关注的热更新或去年以来的AI、AR/VR等等,数据库的热度并不高,不过…

      2、WCDB-Android

原理

  • 初衷,适应WCDB+ORM解决SQL字符串的代码冗余和难以被编译器进行语法检查而造成的错误和时间浪费。SQL字符串太容易被注入
  • SQL抽象
  • 封装常用操作,覆盖80%的使用场景
  • 暴露底层接口,适配剩余20%的特殊情况
  • 定义常用操作
  • 特殊场景所暴露的底层接口,应该以什么形式存在?
  • SELECT、DISTINCT、ALL等等大写字母是keyword,属于SQL的保留字。
  • result-column、``table-or-subquery、expr等等小写字母是token。token可以再进一步地展开其构成的语法规则。
  • 将固定的keyword,封装为函数名,作为连接。
  • 将可以展开的token,封装为类,并在类内实现其不同的组合。
  • 在语法规则中,WHERE、LIMIT等都接受expr作为参数。因此,不管SQL多么复杂,StatementSelect也只接受Expr的参数。而其组合的能力,则在Expr类内实现。

本文收录了关于微信移动端数据库WCDB的到目前为止一切细节,如果你有足够的耐心读完以下内容,相信你便会爱上这套微信开源的解决方案。

      3、数据库损坏修复工具WCDBRepair

数据库修复

  • 官方的Dump恢复方案
    • 遍历sqlite_master表,将未损坏的表和已损坏的前半部分读取出来将dump 出来的SQL语句逐行执行,最终可以得到一个等效的新DB
      功率约为30%。
    • 第一页就损坏后续无法读取
  • 备份恢复方案
    • COPY
    • 在DB完好的时候执行.dump
    • Backup API: SQLite自身提供的一套备份机制,按 Page 为单位复制到新 DB, 支持热备份。
    • 最终选择Dump + 压缩,恢复成功率达到72%
  • 解析B-tree恢复方案(RepairKit)
    • 成功率约为78%
  • 不同方案的组合
    • RepairKit 尝试恢复最新数据
    • 备份恢复 遇到错误填补漏缺
    • Dump 最后的尝试

(本文同步发布于:

 

For Android

  • 基本功能

    • 基于SQLCipher的数据库加密
    • 使用连接池实现并发读写
    • 内建 Repair Kit 可用于修复损坏数据
    • 针对占用空间大小优化的数据库备份/恢复功能
    • 日志输出重定向以及性能跟踪接口
    • 内建用于全文搜索的 mmicu FTS3/4 分词器
  • 接入与迁移

    • WCDB for Android 可通过 Maven 或 AAR 包引用,API 接口与 Android SDK 非常相近, 所以将已有的 App 迁移到 WCDB 是相当容易的。
    • Android 接入与迁移
  • 数据库修复

    • Android 数据库修复
  • 从源码编译

    • 你可以使用预编译的依赖库(OpenSSL crypto 和 SQLCipher)来编译 WCDB for Android, 使用 Gradle 或 Android Studio 皆可。Android Studio 请导入 android 目录作为 Root Project。
    • 编译 WCDB 需要安装 Android NDK r11c 或以上,并在 android/local.properties 上配置好 SDK 与 NDK 路径。Android Studio 一般会帮你配置好。
    • 如果你需要自己编译 OpenSSL 等依赖项,你需要一个 Bash 环境(Windows 可以安装 Cygwin 或 MSys)、target 为本机的 C 编译器(如 GCC)、Perl 5 以及 Tcl。之后执行下面命令即可编译依赖项。

参考资料

Demo

微信移动端数据库组件WCDB系列(一)-iOS基础篇

微信移动端数据库组件WCDB系列(二) — 数据库修复三板斧

微信移动端数据库组件WCDB系列(三) — WINQ原理篇

微信移动数据库组件WCDB(四) — Android 特性篇

图片 7

iOS 数据库框架对比分析    

WCDB是一个高效、完整、易用的移动数据库框架,基于 SQLCipher,支持 iOS、macOS 和 Android。微信高级工程师何俊伟表示:“开源只是故事的开始,我们仍会持续对 WCDB 做改进,包括更易用的接口、更好的性能、更高的可靠性。这些改进最终也会原封不动地在微信使用。”


WCDB(WeChat DataBase)是微信官方的移动端数据库组件,致力于提供一个高效、易用、完整的移动端存储方案。

 

它包含三个模块:

      一:关系型数据库,代表有CoreData、FMDB等

WCDB-iOS/Mac;

WCDB-Android;

数据库损坏修复工具WCDBRepair。

      CoreData:微信团队在公众号的文章中对它的总结是这样:它是苹果内建框架,和Xcode深度结合,可以很方便进行ORM;但其上手学习成本较高,不容易掌握。稳定性也堪忧,很容易crash;多线程的支持也比较鸡肋。

更多介绍,详见《[资讯] 微信移动端数据库组件WCDB即将开源!》。

      FMDB:它基于SQLite封装,对于有SQLite和ObjC基础的开发者来说,简单易懂,可以直接上手;而缺点也正是在此,FMDB只是将SQLite的C接口封装成了ObjC接口,没有做太多别的优化,即所谓的胶水代码(Glue Code)。使用过程需要用大量的代码拼接SQL、拼装Object,并不方便

对于iOS开发者来说,数据库的技术选型一直是个令人头痛的问题。由于Apple提供的CoreData框架差强人意,使得开发者们纷纷将目光投向开源社区,寻找更好的存储方案。

 

对于微信也是如此。数据库是微信内最基础的组件之一,消息收发、联系人、朋友圈等等业务都离不开数据库的支持。为了满足需求,我们也对现有方案做了对比研究后发现,发现已有方案都不能满足微信的要求,于是WCDB应运而生。

      二:key-value数据库,代表有Realm、LevelDB、RocksDB等

详见:《微信移动端数据库组件WCDB系列-iOS基础篇》

      微信团队对上面的总结是这样:因其在各平台封装、优化的优势,比较受移动开发者的欢迎。对于iOS开发者,key-value的实现直接易懂,可以像使用NSDictionary一样使用Realm。并且ORM彻底,省去了拼装Object的过程。但其对代码侵入性很强,Realm要求类继承RLMObject的基类。这对于单继承的ObjC,意味着不能再继承其他自定义的子类。同时,key-value数据库对较为复杂的查询场景也比较无力。

长久以来SQLite DB都有损坏问题,从Android、iOS等移动系统,到Windows、Linux 等桌面系统都会出现。由于微信所有消息都保存在DB,服务端不保留备份,一旦损坏将导致用户消息被清空,显然不能接受。

 

WCDB (WeChat Database),致力于解决 DB 损坏导致数据丢失的问题,提供修复工具组合套拳。

郑重声明:本文版权归新匍京a奥门-最全网站手机版app官方下载所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。