㈠ 如何玩转NoSQL数据库
如何玩转 NoSQL数据库?作者:IT专家网
Weather公司CIO Bryson Koehler整理出了MongoDB,Riak和Cassandra等NoSQL数据库的特性。他指出这其中最重要的特性是“NoSQL不会限制住你”。
Weather公司,致力于天气报告和天气预报业务,其并不缺乏数据,当然也不缺乏数据管理工具。但它为什么需要三种不同的NoSQL数据库?
最近,我向Weather 公司的CIO Bryson Koehler提出了这个疑问,除了公司的CIO,Bryson Koehler还是其他很多业务单元的孵化者,包括Weather Channel,WeatherFX,Weather Underground,和Intellicast等。Weather公司每天获取和处理着约20万亿字节数据,对外提供当前全球天气状况,并为航空公司,紧急服务,货运商,公用事业,保险,以及在线天气网站和天气应用程序的用户提供天气预报服务。每天需求增加了数十亿的天气数据请求,并且预期响应时间要在10毫秒左右。
Riak是Weather 公司的后台NoSQL数据库,服务于公司的事务性存储公用网络(SUN)数据获取平台,它运行在多个亚马逊网络服务(AWS)的可用区域上,并以每小时15次的频率捕获超过20亿气象数据信息,。所以,Riak具有明确的处理规模,但该公司也使用Cassandra以及新近添加的MongoDB数据库,为Weather.com 上IOS和Android移动应用程序服务。
Weather 公司使用了不同的产品,Koehler解释说,因为“不同的工具有不同的优势。
Cassandra,它服务于Weather 公司以及全球消费者使用的第三方天气应用的API数据:“我们的数据分发平台每秒处理数十万的事务,我们发现Cassandra在用于全球分发数据上是一个很棒的解决方案,并且在[数据库]读取方面体现出很高的可用性 “。它本质上为全球各地消费者所使用的数据服务,包括Weather 公司和第三方的天气应用程序。
MongoDB,它提供了Weather.com网站和移动应用程序的中间层缓存功能:“离开我们的核心API,我们还没有全部Weather.com内容,所以MongoDB是容器和分发站,为Weather.com以及Android和iOS上的移动应用程序服务。Mongo有很多好处,这些好处基于其内建的JSON格式以及灵活性上。“
Riak,用于消费气象数据和观测,包括来自世界各地的图片和视频等:“我们喜爱Riak因其优秀的数据摄取能力,而且是以一种全球分布式的方式来实现。这对于从全球分布式平台上获取数据的入站式数据库是一个真正可靠的选择。
我曾听说Datastax,Basho和Couchbase的高管贬低MongoDB的可扩展性,但MongoDB指向大规模部署,在Facebook对超过200万台移动设备上应用程序提供支持,在eHarmony公司,MongDB每天处理着数十亿的潜在比赛预约。据Koehle所述,MongoDB为Weather.com和Weather.com移动应用程序处理着“每天十亿交易”,“毫无疑问,你可以通过配置和部署Mongo来处理大批量的交易数据。”
尽管如此,Koehler承认,他将“很乐于看到MongoDB继续使全球集群和多位置[功能]更加无缝化且易于使用。” 这些属于全球性的分布式集群,复制和负载平衡是Cassandra和Riak众所周知的功能。
从规模讨论的角度来看,很少有公司达到Weather公司的经营规模。易于开发,架构灵活性和JSON数据处理使得MongoDB的成为世界上最流行的NoSQL数据库。这就是为什么微软和IBM都进行了MongoDB的模仿,如微软的Azure DocumentDB和IBM的 Cloudant,而不是Cassandra和Riak。
Weather公司可以从三个NoSQL标准降低至两个的过程中得到巩固,Koehler说,但公司没有准备好这么做。
“由于我们构造了由许多不同的数据解决方案组成的网状结构,我们目前的环境已过于复杂,”他说。“我们希望给团队一些自由的空间,让我们可以了解所有选择的利弊,但你将会看到一些整合。”
到了那个时候,迁移将不在是一件难事,因为“关于NoSQL数据库最重要的事情是,你不会被困在其中,” Koehler说。“如果你的架构和编码正确,从一个数据库迁移到另一个并不难。随着模式的自由以及数据转存技术的发展,无论前者是一个key-value存储或其他什么形式,转储数据都将十分容易。“
对特定产品进程自定义编码的复杂的存储过程已经一去不复返了,Koehler说,但关于“结构化和编码正确”还有很多需要考虑的地方?这样做是为了避免特殊供应商提供的工具和功能可能让你身陷其中。他举了亚马逊网络服务“(AWS)的消息服务为例。
“你不必让服务在云中运行,”他解释说。“你可以只部署自己的RabbitMQ的环境,而不是陷于其中,所以你可以将一个原先部署在AWS 上的应用程序转而部署在谷歌计算云服务上。无论它是数据平台,存储环境,或云计算环境,都要小心别让自己局限在一个仅由一个供应商提供的小范围空间内“。
转载
㈡ 天气预报是怎么“算”出来的
收集数据
最传统的数据是气压、温度、风速、风向、湿度等数据。由专业人士、爱好者、自动气象站或浮标在地面或海面收集。世界气象组织协调数据收集的时间并制定标准。这些测量每小时(METAR)或每六小时(SYNOP)进行一次。
气象数据变得越来越重要。气象卫星可以收集世界各地的数据。他们的可见光照片可以帮助气象学家研究云的发展。他们的红外数据可以用来收集地面和云顶的温度。通过监测云的发展,我们可以收集云边缘的风速和风向。但是气象卫星的精度和分辨率还不够好,所以地面数据还是很重要的。
数据同化
在数据同化过程中,收集的数据与用于预测的数字模型相结合,以产生气象分析。它是对大气状态的最佳估计,是温度、湿度、气压、风速和风向的三维表示。
数据天气
根据物理学和流体力学的结果计算大气随时间的变化。
输出处理
模型计算的原始输出通常可以在变成天气预报之前进行处理。这些处理方法包括利用统计学原理消除已知模型中的偏差,或者参考其他模型的计算结果进行调整。
重要工具
天气预报的重要工具是天气图。天气图主要分为地面和高空。天气图上密密麻麻地写满了各种天气符号,都是根据各地的天气代码翻译后填写的。
每个符号代表一种特定的天气。
代表云的符号,如卷云、卷积云、卷层云、高积云、雨层云、积雨云等。
表示天气现象的符号有:雷暴、龙卷风、大雾、连续大雨、小雪和小阵雨等。
此外,还有表示风向、风速、云量、气压变化的符号。
所有这些符号都以统一的格式填入各自的地理位置。这样,在一个广阔的区域内同时观测到的所有气象要素,如风、温度、湿度、气压、云、阴、晴、雨、雪等。,可以填写在天气图中。从而形成代表不同时间的天气图。有了这些天气图,预报员可以进一步分析处理,用不同颜色的线条和符号显示分析结果。
地面天气图的分析内容包括:圈出重要天气现象(如降水、大风、暴风雪等)的区域范围。),画出冷锋、暖锋、准静止锋的位置,画出全图的等压线,标出低压和高压的中心和强度。经过这样的分析,我们可以从图中清楚地看到当时的气压情况:哪里是高压,哪里是低压,哪里是冷暖空气的对抗区。
高空天气图中填充的气象要素是同一等压线面上所有点的高度,所以通过分析画出相隔一定值的等高线。等高线画出来后,我们就可以看到当时的气压情况:哪里是低压的槽,哪里是高压的脊。然后画等温线,标出冷暖中心。从冷暖中心、低压槽、高压脊的配置,预报员可以对未来的气压形势作出大致的判断。
随着气象科学技术的发展,一些气象台站利用气象雷达、气象卫星、电子计算机等先进的探测工具和预报手段,提高气象预报水平,取得了显着成效。据介绍,自1966年以来,世界各地热带海洋的台风几乎都逃不过气象卫星的“眼睛”。卫星云图对于监测和早期发现大风暴和严重灾害性天气是有效的。
制造工艺
①根据有关部门提供的资料,在电脑上制作全国气象形势图(即天气预报节目的背景图)。
②主持人站在一块蓝屏前“点”讲解天气(主持人掌握每个区域位置的秘诀只有一个——死记硬背)
③影视中心进行图像合成,在电脑上将流程②中的蓝屏替换为流程①中的图表;
④影视中心将完成的节目传送到中央电视台。