『壹』 開源資料庫有哪些
MSSQL伺服器、MySQL、Oracle、PostgreSQL、MongoDB等等。眾所周知,其中MySQL是目前使用最廣泛最好的免費開源資料庫,此外,還有一些你不知道或者沒用過但又非常出色的開源資料庫,例如PostgreSQL、MongoDB、HBase、Cassandra、Couchbase、Neo4j、Riak、Redis、Firebird等。
『貳』 資料庫軟體都有那些
企業里常用的資料庫軟體有Mysql、PostgreSQL、MicrosoftSQLServer、Oracle資料庫、MongoDB。
1、Mysql。
MySQL原本是一個開放源碼的關系資料庫管理系統,原開發者為瑞典的MySQLAB公司,該公司於2008年被升陽微系統(SunMicrosystems)收購。2009年,甲骨文公司(Oracle)收購升陽微系統公司,MySQL成為Oracle旗下產品。
MySQL由於性能高、成本低、可靠性好,已經成為最流行的開源資料庫,因此被廣泛地應用在Internet上的中小型網站中。隨著MySQL的不斷成熟,它也逐漸用於更多大規模網站和應用。
2、PostgreSQL。
PostgreSQL可以說是目前功能最強大、特性最豐富和結構最復雜的開源資料庫管理系統,其中有些特性甚至連商業資料庫都不具備。這個起源於加州大學伯克利分校的資料庫,現已成為一項國際開發項目,並且擁有廣泛的用戶群,尤其是在海外,目前國內使用者也越來越多。
PostgreSQL基本上算是見證了整個資料庫理論和技術的發展歷程,由UCB計算機教授MichaelStonebraker於1986年創建。在此之前,Stonebraker教授主導了關系資料庫Ingres研究項目,88年,提出了Postgres的第一個原型設計。
MySQL號稱是使用最廣泛的開源資料庫,而PG則被稱為功能最強大的開源資料庫。
3、MicrosoftSQLServer。
SQLServer是Microsoft開發的一個關系資料庫管理系統(RDBMS),現在是世界上最為常用的資料庫。SQLServer現在是包括內置的商務智能工具,以及一系列的分析和報告工具,可以創建資料庫、備份、復制、安全性更好以及更多。
SQLServer是一個高度可擴展的產品,可以從一個單一的筆記本電腦上運行的任何東西或以高倍雲伺服器網路,或在兩者之間任何東西。雖然說是「任何東西」,但是仍然要滿足相關的軟體和硬體的要求。
4、Oracle資料庫。
Oracle資料庫系統是美國Oracle(甲骨文)公司提供的以分布式資料庫為核心的一組軟體產品,是目前最流行的客戶/伺服器(Client/Server,C/S)或瀏覽器/伺服器(Browser/Server,B/S)體系結構的資料庫之一。
Oracle資料庫是目前世界上使用最為廣泛的資料庫管理系統,作為一個通用的資料庫系統,它具有完整的數據管理功能;作為一個關系資料庫,它是一個完備關系的產品;作為分布式資料庫它實現了分布式處理功能。
5、MongoDB
mongoDB是一個介於關系資料庫和非關系資料庫之間的開源產品,是最接近於關系型資料庫的NoSQL資料庫。它在輕量級JSON交換基礎之上進行了擴展,即稱為BSON的方式來描述其無結構化的數據類型。盡管如此它同樣可以存儲較為復雜的數據類型。
參考資料來源:網路——Mysql
參考資料來源:網路——PostgreSQL
參考資料來源:網路——MicrosoftSQLServer
參考資料來源:網路——Oracle資料庫
參考資料來源:網路——MongoDB
『叄』 MongoDB是什麼,怎麼用看完你就知道了
MongoDB是一款為web應用程序和互聯網基礎設施設計的資料庫管理系統。沒錯MongoDB就是資料庫,是NoSQL類型的資料庫。
(1)MongoDB提出的是文檔、集合的概念,使用BSON(類JSON)作為其數據模型結構,其結構是面向對象的而不是二維表,存儲一個用戶在MongoDB中是這樣子的。
使用這樣的數據模型,使得MongoDB能在生產環境中提供高讀寫的能力,吞吐量較於mysql等SQL資料庫大大增強。
(2)易伸縮,自動故障轉移。易伸縮指的是提供了分片能力,能對數據集進行分片,數據的存儲壓力分攤給多台伺服器。自動故障轉移是副本集的概念,MongoDB能檢測主節點是否存活,當失活時能自動提升從節點為主節點,達到故障轉移。
(3)數據模型因為是面向對象的,所以可以表示豐富的、有層級的數據結構,比如博客系統中能把「評論」直接懟到「文章「的文檔中,而不必像myqsl一樣創建三張表來描述這樣的關系。
(1)文檔數據類型
SQL類型的資料庫是正規化的,可以通過主鍵或者外鍵的約束保證數據的完整性與唯一性,所以SQL類型的資料庫常用於對數據完整性較高的系統。MongoDB在這一方面是不如SQL類型的資料庫,且MongoDB沒有固定的Schema,正因為MongoDB少了一些這樣的約束條件,可以讓數據的存儲數據結構更靈活,存儲速度更加快。
(2)即時查詢能力
MongoDB保留了關系型資料庫即時查詢的能力,保留了索引(底層是基於B tree)的能力。這一點汲取了關系型資料庫的優點,相比於同類型的NoSQL redis 並沒有上述的能力。
(3)復制能力
MongoDB自身提供了副本集能將數據分布在多台機器上實現冗餘,目的是可以提供自動故障轉移、擴展讀能力。
(4)速度與持久性
MongoDB的驅動實現一個寫入語義 fire and forget ,即通過驅動調用寫入時,可以立即得到返回得到成功的結果(即使是報錯),這樣讓寫入的速度更加快,當然會有一定的不安全性,完全依賴網路。
MongoDB提供了Journaling日誌的概念,實際上像mysql的bin-log日誌,當需要插入的時候會先往日誌裡面寫入記錄,再完成實際的數據操作,這樣如果出現停電,進程突然中斷的情況,可以保障數據不會錯誤,可以通過修復功能讀取Journaling日誌進行修復。
(5)數據擴展
MongoDB使用分片技術對數據進行擴展,MongoDB能自動分片、自動轉移分片裡面的數據塊,讓每一個伺服器裡面存儲的數據都是一樣大小。
MongoDB核心伺服器主要是通過mongod程序啟動的,而且在啟動時不需對MongoDB使用的內存進行配置,因為其設計哲學是內存管理最好是交給操作系統,缺少內存配置是MongoDB的設計亮點,另外,還可通過mongos路由伺服器使用分片功能。
MongoDB的主要客戶端是可以交互的js shell 通過mongo啟動,使用js shell能使用js直接與MongoDB進行交流,像使用sql語句查詢mysql數據一樣使用js語法查詢MongoDB的數據,另外還提供了各種語言的驅動包,方便各種語言的接入。
mongomp和mongorestore,備份和恢復資料庫的標准工具。輸出BSON格式,遷移資料庫。
mongoexport和mongoimport,用來導入導出JSON、CSV和TSV數據,數據需要支持多格式時有用。mongoimport還能用與大數據集的初始導入,但是在導入前順便還要注意一下,為了能充分利用好mongoDB通常需要對數據模型做一些調整。
mongosniff,網路嗅探工具,用來觀察發送到資料庫的操作。基本就是把網路上傳輸的BSON轉換為易於人們閱讀的shell語句。
因此,可以總結得到,MongoDB結合鍵值存儲和關系資料庫的最好特性。因為簡單,所以數據極快,而且相對容易伸縮還提供復雜查詢機制的資料庫。MongoDB需要跑在64位的伺服器上面,且最好單獨部署,因為是資料庫,所以也需要對其進行熱備、冷備處理。
因為本篇文章不是API手冊,所有這里對shell的使用也是基礎的介紹什麼功能可以用什麼語句,主要是為了展示使用MongoDB shell的方便性,如果需要知道具體的MongoDB shell語法可以查閱官方文檔。
創建資料庫並不是必須的操作,資料庫與集合只有在第一次插入文檔時才會被創建,與對數據的動態處理方式是一致的。簡化並加速開發過程,而且有利於動態分配命名空間。如果擔心資料庫或集合被意外創建,可以開啟嚴格模式。
以上的命令只是簡單實例,假設如果你之前沒有學習過任何資料庫語法,同時開始學sql查詢語法和MongoDB 查詢語法,你會發現哪一個更簡單呢?如果你使用的是java驅動去操作MongoDB,你會發現任何的查詢都像Hibernate提供出來的查詢方式一樣,只要構建好一個查詢條件對象,便能輕松查詢(接下來會給出示例),博主之前熟悉ES6,所以入手MongoDB js shell完成沒問題,也正因為這樣簡潔,完善的查詢機制,深深的愛上了MongoDB。
使用java驅動鏈接MongoDB是一件非常簡單的事情,簡單的引用,簡單的做增刪改查。在使用完java驅動後我才發現spring 對MongoDB 的封裝還不如官方自身提供出來的東西好用,下面簡單的展示一下使用。
這里只舉例了簡單的鏈接與簡單的MongoDB操作,可見其操作的容易性。使用驅動時是基於TCP套接字與MongoDB進行通信的,如果查詢結果較多,恰好無法全部放進第一伺服器中,將會向伺服器發送一個getmore指令獲取下一批查詢結果。
插入數據到伺服器時間,不會等待伺服器的響應,驅動會假設寫入是成功的,實際是使用客戶端生成對象id,但是該行為可以通過配置配置,可以通過安全模式開啟,安全模式可以校驗伺服器端插入的錯誤。
要清楚了解MongoDB的基本數據單元。在關系型資料庫中有帶列和行的數據表。而MongoDB數據的基本單元是BSON文檔,在鍵值中有指向不定類型值的鍵,MongoDB擁有即時查詢,但不支持聯結操作,簡單的鍵值存儲只能根據單個鍵來獲取值,不支持事務,但支持多種原子更新操作。
如讀寫比是怎樣的,需要何種查詢,數據是如何更新的,會不會存在什麼並發問題,數據結構化的程度是要求高還是低。系統本身的需求決定mysql還是MongoDB。
在關於schema 的設計中要注意一些原則,比如:
資料庫是集合的邏輯與物理分組,MongoDB沒有提供創建資料庫的語法,只有在插入集合時,資料庫才開始建立。創建資料庫後會在磁碟分配一組數據文件,所有集合、索引和資料庫的其他元數據都保存在這些文件中,查閱資料庫使用磁碟狀態可通過。
集合是結構上或概念上相似得文檔的容器,集合的名稱可以包含數字、字母或 . 符號,但必須以字母或數字開頭,完全。
限定集合名不能超過128個字元,實際上 . 符號在集合中很有用,能提供某種虛擬命名空間,這是一種組織上的原則,和其他集合是一視同仁的。在集合中可以使用。
其次是鍵值,在MongoDB裡面所有的字元串都是UTF-8類型。數字類型包括double、int、long。日期類型都是UTC格式,所以在MongoDB裡面看到的時間會比北京時間慢8小時。整個文檔大小會限制在16m以內,因為這樣可以防止創建難看的數據類型,且小文檔可以提升性能,批量插入文檔理想數字范圍是10~200,大小不能超過16MB。
(1)索引能顯著減少獲取文檔的所需工作量,具體的對比可以通過 .explain()方法進行對比
(2)解析查詢時MongoDB通過最優計劃選擇一個索引進行查詢,當沒有最適合索引時,會先不同的使用各個索引進行查詢,最終選出一個最優索引做查詢
(3)如果有一個a-b的復合索引,那麼僅針對a的索引是冗餘的
(4)復合索引里的鍵的順序是很重要的
(1)單鍵索引
(2)復合索引
(3)唯一性索引
(4)稀疏索引
如索引的欄位會出現null的值,或是大量文檔都不包含被索引的鍵。
如果數據集很大時,構建索引將會花費很長的時間,且會影響程序性能,可通過
當使用 mongorestore 時會重新構建索引。當曾經執行過大規模的刪除時,可使用
對索引進行壓縮,重建。
(1)查閱慢查詢日誌
(2)分析慢查詢
注意新版本的MongoDB 的explain方法是需要參數的,不然只顯示普通的信息。
本節同樣主要簡單呈現MongoDB副本集搭建的簡易性,與副本集的強壯性,監控容易性
提供主從復制能力,熱備能力,故障轉移能力
實際上MongoDB對副本集的操作跟mysql主從操作是差不多的,先看一下mysql的主從數據流動過程
而MongoDB主要依賴的日誌文件是oplog
寫操作先被記錄下來,添加到主節點的oplog里。與此同時,所有從結點復制oplog。首先,查看自己oplog里最後一條的時間戳;其次,查詢主節點oplog里所有大於此時間戳的條目;最後,把那些條目添加到自己的oplog里並應用到自己的庫里。從節點使用長輪詢立即應用來自主結點oplog的新條目。
當遇到以下情況,從節點會停止復制
local資料庫保存了所有副本集元素據和oplog日誌
可以使用以下命令查看復制情況
每個副本集成員每秒鍾ping一次其他所有成員,可以通過rs.status()看到節點上次的心跳檢測時間戳和 健康 狀況。
這個點沒必要過多描述,但是有一個特殊場景,如果從節點和仲裁節點都被殺了,只剩下主節點,他會把自己降級成為從節點。
如果主節點的數據還沒有寫到從庫,那麼數據不能算提交,當該主節點變成從節點時,便會觸發回滾,那些沒寫到從庫的數據將會被刪除,可以通過rollback子目錄中的BSON文件恢復回滾的內容。
(1)使用單節點鏈接
只能鏈接到主節點,如果鏈接到從節點的話,會被拒絕寫入操作,但是如果沒有使用安全模式,因為mongo的fire and forget 特性,會把拒絕寫入的異常給吃掉。
(2)使用副本集方式鏈接
能根據寫入的情況自動進行故障轉移,但是當副本集進行新的選舉時,還是會出現故障,如果不使用安全模式,依舊會出現寫不進去,但現實成功的情況。
分片是資料庫切分的一個概念實現,這里也是簡單總結為什麼要使用分片以及分片的原理,操作。
當數據量過大,索引和工作數據集佔用的內存就會越來越多,所以需要通過分片負載來解決這個問題
(1)分片組件
(2)分片的核心操作
分片一個集合:分片是根據一個屬性的范圍進行劃分的,MongoDB使用所謂的分片鍵讓每個文檔在這些范圍里找到自己的位置
塊:是位於一個分片中的一段連續的分片鍵范圍,可以理解為若干個塊組成分片,分片組成MongoDB的全部數據
(3)拆分與遷移
塊的拆分:初始化時只有一個塊,達到最大塊尺寸64MB或100000個文檔就會觸發塊的拆分。把原來的范圍一分為二,這樣就有了兩個塊,每個塊都有相同數量的文檔。
遷移:當分片中的數據大小不一時會產生遷移的動作,比如分片A的數據比較多,會將分片A裡面的一些塊轉移到分片B裡面去。分片集群通過在分片中移動塊來實現均衡,是由名為均衡器的軟體進程管理的,任務是確保數據在各個分片中保持均勻分布,當集群中擁有塊最多的分片與擁有塊最少分片的塊差大於8時,均衡器就會發起一次均衡處理。
啟動兩個副本集、三個配置伺服器、一個mongos進程
配置分片
(1)分片查詢類型
(2)索引
分片集合只允許在_id欄位和分片鍵上添加唯一性索引,其他地方不行,因為這需要在分片間進行通信,實施起來很復雜。
當創建分片時,會根據分片鍵創建一個索引。
(1)分片鍵是不可修改的、分片鍵的選擇非常重要
(2)低效的分片鍵
(3)理想的分片鍵
(1)部署拓撲
根據不同的數據中心劃分
這里寫圖片描述
(2)最低要求
(3)配置的注意事項
需要估計集群大小,可使用以下命令對現有集合進行分片處理
(4)備份分片集群
備份分片時需要停止均衡器
(1)部署架構
使用64位機器、32位機器會制約mongodb的內存,使其最大值為1.5GB
(2)cpu
mongodb 只有當索引和工作集都可放入內存時,才會遇到CPU瓶頸,CPU在mongodb使用中的作用是用來檢索數據,如果看到CPU使用飽和的情況,可以通過查詢慢查詢日誌,排查是不是查詢的問題導致的,如果是可以通過添加索引來解決問題
mongodb寫入數據時會使用到CPU,但是mongodb寫入時間一次只用到一個核,如果有頻繁的寫入行為,可以通過分片來解決這個問題
(3)內存
大內存是mongodb的保障,如果工作集大小超過內存,將會導致性能下降,因為這將會增加數據載入入內存的動作
(4)硬碟
mongodb默認每60s會與磁碟強制同步一次,稱為後台刷新,會產生I/O操作。在重啟時mongodb會將磁碟裡面的數據載入至內存,高速磁碟將會減少同步的時間
(5)文件系統
使用ext4 和 xfs 文件系統
禁用最後訪問時間
(6)文件描述符
linux 默認文件描述符是1024,需要大額度的提升這個額度
(7)時鍾
mongodb各個節點伺服器之間使用ntp伺服器
(1)綁定IP
啟動時使用 - -bind_ip 命令
(2)身份驗證
啟動時使用 - -auth 命令
(3)副本集身份認證
使用keyFile,注意keyFile文件的許可權必須是600,不然會啟動不起來
(1)拓撲結構
搭建副本集至少需要兩個節點,其中仲裁結點不需要有自己的伺服器
(2)Journaling日誌
寫數據時會先寫入日誌,而此時的數據也不是直接寫入硬碟,而是寫入內存
但是Journaling日誌會消耗內存,所以可以在主庫上面關閉,在從庫上面啟動
可以單獨為Journaling日誌使用一塊固態硬碟
在插入時,可以通過驅動確保Journaling插入後再反饋,但是會非常影響性能。
logpath 選項指定日誌存儲地址
-vvvvv 選項(v越多,輸出越詳細)
db.runCommand({logrotare:1}) 開啟滾動日誌
(1)serverStatus
這里寫圖片描述
(2)top
(3)db.currentOp()
動態展示mongodb活動數據
佔用當前mongodb監聽埠往上1000號的埠
(1)mongomp
把資料庫內容導出成BSON文件,而mongorestore能讀取並還原這些文件
(2)mongorestore
把導出的BSON文件還原到資料庫
(3)備份原始數據文件
可以這么做,但是,操作之前需要進行鎖庫處理 db.runCommand({fsync:1,lock:true})
db.$cmd.sys.unlock.findOne() 請求解鎖操作,但是資料庫不會立刻解鎖,需要使用db.currentOp()驗證。
(1)修復
mongd --repair 修復所有資料庫
db.runCommand({repairDatabase:1}) 修復單個資料庫
修復就是根據Jourling文件讀取和重寫所有數據文件並重建各個索引
(2)壓緊
壓緊,會重寫數據文件,並重建集合的全部索引,需要停機或者在從庫上面運行,如果需要在主庫上面運行,需要添加force參數 保證加寫鎖。
(1)監控磁碟狀態
(2)為提升性能檢查索引和查詢
總的來說,掃描盡可能少的文檔。
保證沒有冗餘的索引,冗餘的索引會佔用磁碟空間、消耗更多的內存,在每次寫入時還需做更多工作
(3)添加內存
dataSize 數據大小 和 indexSize 索引大小,如果兩者的和大於內存,那麼將會影響性能。
storageSize超過dataSize 數據大小 兩倍以上,就會因磁碟碎片而影響性能,需要壓縮。
『肆』 資料庫有哪幾種
常用資料庫有mysql、oracle、sqlserver、sqlite等。
1、Oracle資料庫
Oracle資料庫管理系統是由甲骨文(Oracle)公司開發的,在資料庫領域一直處於領先地位。目前,Oracle資料庫覆蓋了大、中、小型計算機等幾十種計算機型,成為世界上使用最廣泛的關系型數據管理系統(由二維表及其之間的關系組成的一個資料庫)之一。
2、SQLServer資料庫
SQLServer是由微軟公司開發的一種關系型據庫管理系統,它已廣泛用於電子商務、銀行、保險、電力等行業。SQLServer提供了對XML和Internet標準的支持,具有強大的、靈活的、基於Web的應用程序管理功能。
3、DB2資料庫
DB2資料庫是由IBM公司研製的一種關系型資料庫管理系統,主要應用於OS/2、Windows等平台下,具有較好的可伸縮性,可支持從大型計算機到單用戶環境。
4、MongoDB資料庫
MongoDB是由10gen公司開發的一個介於關系資料庫和非關系資料庫之間的產品,是非關系資料庫當中功能最豐富,最像關系資料庫的。它支持的數據結構非常鬆散,是類似JSON的bjson格式,因此可以存儲比較復雜的數據類型。
5、MySQL資料庫
MySQL資料庫管理系統是由瑞典的MySQLAB公司開發的,但是幾經輾轉,現在是Oracle產品。它是以「客戶/伺服器」模式實現的,是一個多用戶、多線程的小型資料庫伺服器。而且MySQL是開源數據的,任何人都可以獲得該資料庫的源代碼並修正MySQL的缺陷。
6、Sybase資料庫
美國Sybase公司研製的一種關系型資料庫系統,是一種典型的UNIX或WindowsNT平台上客戶機/伺服器環境下的大型資料庫系統。