导航:首页 > 信息技术 > 如何让技术流动起来

如何让技术流动起来

发布时间:2024-01-17 20:58:35

㈠ 如何让数据流动起来,让数据拥抱数据

围墙里的大数据注定成为死数据。大数据需要开放式创新,从数据的开放、共享和交易,到价值提取能力的开放,再到基础处理和分析平台的开放,让数据如同血液在数据社会的躯体中长流,滋润数据经济,让更多的长尾企业和数据思维创新者产生多姿多彩的化学作用,才能创造大数据的黄金时代。
我的大数据研究轨迹
我做了4-5年的移动架构和Java虚拟机,4-5年的众核架构和并行编程系统,最近4-5年也在追时髦,先是投入物联网,最近几年一直在做大数据。我们团队的大数据研究轨迹如下图所示:

2010-2012年,主要关注数据和机器的关系:水平扩展、容错、一致性、软硬件协同设计,同时厘清各种计算模式,从批处理(MapRece)到流处理、Big SQL/ad hoc query、图计算、机器学习等等。事实上,我们的团队只是英特尔大数据研发力量的一部分,上海的团队是英特尔Hadoop发行版的主力军,现在英特尔成了Cloudera的最大股东,自己不做发行版了,但是平台优化、开源支持和垂直领域的解决方案仍然是英特尔大数据研发的重心。
从2013年开始关注数据与人的关系:对于数据科学家怎么做好分布式机器学习、特征工程与非监督学习,对于领域专家来说怎么做好交互式分析工具,对于终端用户怎么做好交互式可视化工具。英特尔研究院在美国卡内基梅隆大学支持的科研中心做了GraphLab、Stale Synchronous Parallelism,在MIT的科研中心做了交互式可视化和SciDB上的大数据分析,而中国主要做了Spark SQL和MLlib(机器学习库),现在也涉及到深度学习算法和基础设施。
2014年重点分析数据和数据的关系:我们原来的工作重心是开源,后来发现开源只是开放式创新的一个部分,做大数据的开放式创新还要做数据的开放、大数据基础设施的开放以及价值提取能力的开放。
数据的暗黑之海与外部效应
下面是一张非常有意思的图,黄色部分是化石级的,即没有联网、没有数字化的数据,而绝大多数的数据是在这片海里面。只有海平面的这些数据(有人把它称作Surface Web)才是真正大家能访问到的数据,爬虫能爬到、搜索引擎能检索到的数据,而绝大多数的数据是在暗黑之海里面(相应地叫做Dark Web),据说这一部分占数据总量的85%以上,它们在一些孤岛里面,在一些企业、政府里面躺在地板上睡大觉。

数据之于数据社会,就如同水之于城市或者血液之于身体一样。城市因为河流而诞生也受其滋养,血液一旦停滞身体也就危在旦夕。所以,对于号称数据化生存的社会来说,我们一定要让数据流动起来,不然这个社会将会丧失诸多重要功能。
所以,我们希望数据能够像“金风玉露一相逢”那样产生化学作用。马化腾先生提出了一个internet+的概念,英特尔也有一个大数据X,相当于大数据乘以各行各业。如下图所示,乘法效应之外,数据有个非常奇妙的效应叫做外部效应(externality),比如这个数据对我没用但对TA很有用,所谓我之毒药彼之蜜糖。

比如,金融数据和电商数据碰撞在一起,就产生了像小微贷款那样的互联网金融;电信数据和政府数据相遇,可以产生人口统计学方面的价值,帮助城市规划人们居住、工作、娱乐的场所;金融数据和医学数据在一起,麦肯锡列举了很多应用,比如可以发现骗保;物流数据和电商数据凑在一块,可以了解各个经济子领域的运行情况;物流数据和金融数据产生供应链金融,而金融数据和农业数据也能发生一些化学作用。比如Google analytics出来的几个人,利用美国开放气象数据,在每一块农田上建立微气象模型,可以预测灾害,帮助农民保险和理赔。
所以,要走数据开放之路,让不同领域的数据真正流动起来、融合起来,才能释放大数据的价值。
三个关于开放的概念
1、数据开放
首先是狭义的数据开放。数据开放的主体是政府和科研机构,把非涉密的政府数据及科研数据开放出来。现在也有一些企业愿意开放数据,像Netflix和一些电信运营商,来帮助他们的数据价值化,建构生态系统。但是数据开放不等于信息公开。首先,数据不等于信息,信息是从数据里面提炼出来的东西。我们希望,首先要开放原始的数据(raw data),其次,它是一种主动和免费的开放,我们现在经常听说要申请信息公开,那是被动的开放。
Tim Berners Lee提出了数据开放的五星标准,以保证数据质量:一星是开放授权的格式,比如说PDF;其次是结构化,把数据从文件变成了像excel这样的表;三星是开放格式,如CSV;四星是能够通过URI找到每一个数据项;五星代表能够和其它数据链接,形成一个开放的数据图谱。

现在主流的数据开放门户,像data.dov或data.gov.uk,都是基于开源软件。英特尔在MIT的大数据科研中心也做了一种形态,叫Datahub:吉祥物很有趣,一半是大象,代表数据库技术,一半是章鱼,取自github的吉祥物章鱼猫。它提供更多的功能比如易管理性,提供结构化数据服务和访问控制,对数据共享进行管理,同时可以在原地做可视化和分析。

广义的数据开放还有数据的共享及交易,比如点对点进行数据共享或在多边平台上做数据交易。马克思说生产资料所有制是经济的基础,但是现在大家可以发现,生产资料的租赁制变成了一种主流(参考《Lean Startup》),在数据的场景下,我不一定拥有数据,甚至不用整个数据集,但可以租赁。租赁的过程中要保证数据的权利。
首先,我可以做到数据给你用,但不可以给你看见。姚期智老先生82年提出“millionaires’ dilemma(百万富翁的窘境)”,两个百万富翁比富谁都不愿意说出自己有多少钱,这就是典型的“可用但不可见”场景。在实际生活中的例子很多,比如美国国土安全部有恐怖分子名单(数据1),航空公司有乘客飞行记录(数据2),国土安全部向航空公司要乘客飞行记录,航空公司不给,因为涉及隐私,他反过来向国土安全部要恐怖分子名单,也不行,因为是国家机密。双方都有发现恐怖分子的意愿,但都不愿给出数据,有没有办法让数据1和数据2放一起扫一下,但又保障数据安全呢?
其次,在数据使用过程中要有审计,万一那个扫描程序偷偷把数据藏起来送回去怎么办?再者,需要数据定价机制,双方数据的价值一定不对等,产生的洞察对各方的用途也不一样,因此要有个定价机制,比大锅饭式的数据共享更有激励性。
从点对点的共享,走到多边的数据交易,从一对多的数据服务到多对多的数据市场,再到数据交易所。如果说现在的数据市场更多是对数据集进行买卖的话,那么数据交易所就是一个基于市场进行价值发现和定价的,像股票交易所那样的、小批量、高频率的数据交易。
我们支持了不少研究来实现刚才所说的这些功能,比如说可用而不可见。案例一是通过加密数据库CryptDB/Monomi实现,在数据拥有方甲方这边的数据库是完全加密的,这事实上也防止了现在出现的很多数据泄露问题,大家已经听到,比如说某互联网服务提供商的员工偷偷把数据拿出来卖,你的数据一旦加密了他拿出来也没用。其次,这个加密数据库可以运行乙方的普通SQL程序,因为它采用了同态加密技术和洋葱加密法,SQL的一些语义在密文上也可以执行。

针对“百万富翁的窘境”,我们做了另一种可用但不可见的技术,叫做数据咖啡馆。大家知道咖啡馆是让人和人进行思想碰撞的地方,这个数据咖啡馆就是让数据和数据能够碰撞而产生新的价值。
比如两个电商,一个是卖衣服的,一个是卖化妆品的,他们对于客户的洞察都是相对有限的,如果两边的数据放在一起做一次分析,那么就能够获得全面的用户画像。再如,癌症是一类长尾病症,有太多的基因突变,每个研究机构的基因组样本都相对有限,这在某种程度上解释了为什么过去50年癌症的治愈率仅仅提升了8%。那么,多个研究机构的数据在咖啡馆碰一碰,也能够加速癌症的研究。
在咖啡馆的底层是多方安全计算的技术,基于英特尔和伯克利的一个联合研究。在上面是安全、可信的Spark,基于“data lineage”的使用审计,根据各方数据对结果的贡献进行定价。

2、大数据基础设施的开放
现在有的是有大数据思维的人,但他们很捉急,玩不起、玩不会大数据,他不懂怎么存储、怎么处理这些大数据,这就需要云计算。基础设施的开放还是传统的Platform as a Service,比如Amazon AWS里有MapRece,Google有Big Query。这些大数据的基础处理和分析平台可以降低数据思维者的门槛,释放他们的创造力。
比如decide.com,每天爬几十万的数据,对价格信息(结构化的和非结构化的)进行分析,然后告诉你买什么牌子、什么时候买最好。只有四个PhD搞算法,其他的靠AWS。另一家公司Prismatic,也利用了AWS,这是一家做个性化阅读推荐的,我专门研究过它的计算图、存储和高性能库,用LISP的一个变种Clojure写的非常漂亮,真正做技术的只有三个学生。
所以当这些基础设施社会化以后,大数据思维者的春天很快就要到来。
3、价值提取能力的开放
现在的模式一般是一大一小或一对多。比如Tesco和Dunnhumby,后者刚开始是很小的公司,找到Tesco给它做客户忠诚度计划,一做就做了几十年,这样的长期战略合作优于短期的数据分析服务,决策更注重长期性。当然,Dunnhumby现在已经不是小公司了,也为其他大公司提供数据分析服务。再如沃尔玛和另外一家小公司合作,做数据分析,最后他把这家小公司买下来了,成了它的Walmart Labs。
一对多的模式,典型的是Palantir——Peter Thiel和斯坦福的几个教授成立的公司,目前还是私有的,但估值近百亿了,它很擅长给各类政府和金融机构提供数据价值提取服务。真正把这种能力开放的是Kaggle,它的双边,一边是10多万的分析师,另一边是需求方企业,企业在Kaggle上发标,分析师竞标,获得业务。这可能是真正解决长尾公司价值提取能力的办法。当然,如果能和我们的数据咖啡馆结合,就更好了。

㈡ 国际技术转移的方式一般有哪些

从比较宽泛的意义上看,技术转移的方式主要有:

(1)商品贸易,特别是通过高技术产品贸易所带来的技术转移。

(2)技术贸易,包括技术转让、技术咨询服务、成套设备和关键设备的进出口、技术服务与协助、工程承包与交钥匙工程、特许专营、设备租赁、补偿贸易等。以许可证转让方式(包括专利和非专利科技成果)所进行的技术转移,是目前技术转移中最受关注和最为重要的方式之一,通常称之为技术转让。这是一种有偿的转移方式,技术以商品的形式在技术市场中进行交易。通过购置设备和软件获取所需要的技术也是常见的技术转移方式,这种方式的优点是能最快地获取现有的技术,卖方可能会提供培训,投产获利较快,风险校小,缺点是新设备可能不适应企业现有的环境,企业需要在组织上进行变化,成本较高,不能从根本上提高技术能力,随着技术的变化需要不断的购买。

(3)直接投资,比如合作经营、合资经营、独资经营等。

(4)战略联盟,这是联盟各方实现技术、知识资源共享的一种特殊形式,技术转移在其中是双向或者多向的,联盟各方共用研究开发设施,可以减少资源压力和开支,共担风险,抑制竞争。

(5)产学研结合,这是技术转移中效果较好和最有前景的途径之一,包括合作研究、合作开发、合资生产等形式。其主要优点是能充分利用合作伙伴的知识技能和资源,发挥自己的优势,补充自己的不足,有利于迅速获取技术,可以减少成本和风险,主要缺点是组织之间的目标不同,有时难以形成良好的合作关系,管理过程和利益分配有时会出现矛盾。

(6)创办新企业,由成果拥有单位或由科技人员自己创办企业是技术转移最为直接的方式。其优点是转化速度较快,技术拥有单位或个人可能获取更大的收益,但是风险大,难以获得风险投资,不易形成规模经济。

(7)科技合作,派遣学者、专家到国外或者其他地区的高等学校、研究机构或者生产企业,与对方的学者、专家合作进行研究设计;或者双方学者、专家轮流到对方学校、研究机构或者企业进行研究。

(8)科技交流,国家之间或者地区之间的科研、教学、企业之间,以增进智力、技术和信息为内容的,以促进各自技术进步为目的的交流活动,比如聘请讲学、座谈、举办讲习班、参加会议等等;这种通过信息传播的方式获取所需技术,其优点是成本低、速度快、简单易行,缺点是无法获取较完整的、系统的技术知识,特别是难以获得技术决窍,要求企业自身具有较强的技术能力或模仿能力才行。

(9)技术援助,向受援方提供成套的先进设备、以及提供全部或者部分设备所需的零部件、原材料,甚至派遣技术专家负责组织和指导施工、安装和试生产,帮助受援方学会管理生产和操作技术。“技术转移的关键是人而不是技术文件”,这是近几年西方管理界十分流行的说法,关键技术人才的流动常常伴随着技术成果的流动,技术知识随着这种人员的交流得到转移。

(10)技术情报,这种方式渗透到经济技术的各个领域和各个层面,或者窃取有关的技术情报和商业秘密,或者通过中立国或中间商,从一方买入技术再卖给另一方,逃避有关法律法规控制,获得技术秘密。这种方式有的介于合法与非法的灰色领域内,有的则是一种非法活动,但在客观上带来了技术的流动,尤其在国际技术转移领域,是国际技术转移的一种方式。

㈢ 技术转移的基本模式

1、从技术内容的完整性上看,可以把技术转移区分为“移植型”和“嫁接型”两种模式
“移植型”技术转移,是指技术的全部内容。跨国公司的海外扩张多是通过这种模式实现其技术转移的。这种模式对技术吸纳主体原有技术系统依赖性极小,而成功率较高,是“追赶型”国家或地区实现技术经济跨越式发展的捷径。但转移的支付成本较高。 “嫁接型”技术转移,是指技术的部分内容,如某一单元技术,或关键工艺设备等流动而实现的技术转移。它以技术需求方原有技术体系为母本,与外部先进技术嫁接融合,从而引起原有技术系统功能和效率的更新。显然,这种技术转移模式对技术受体原有技术水平的依赖性较强,要求匹配的条件较为苛刻。虽然技术转移的支付成本较低,但嫁接环节上发生风险的频率较大。一般为技术实力较为均衡的国家、地区、企业之间所采用。
2、从技术载体的差异性上,可以将技术转移区分为“实物型”、“智能型”和“人力型”技术转移3种模式
所谓“实物型”技术转移,是指由实物流转而引起的技术转移。从技术角度看,以生产手段和劳动产品形态出现的实物,都是特定技术的物化和对象化,都能从中反观到某种技术的存在。因此,当实物发生空间上的流动或转让时,某种技术就随之发生了转移,这是所谓“硬技术”转移的基本形式。
所谓“智能型”技术转移模式,是指由一定的专门的科学理论、技能、经验和方法等精神范畴的知识传播和流动所引发的技术转移。它不依赖实物的转移而进行。通常把这种技术转移称为“软技术”转移。市场上的专利技术、技术诀窍、工艺配方、信息情报等知识形态的商品交易,都是这种技术转移借以实现的基本形式。
“人力型”技术转移,是人类社会较为古老的一种技术转移模式,它是由人的流动而引起的技术转移。如随着人员的迁徙、调动、招聘、交流往来、异地培养等各种流动形式,皆可引发技术的转移。这是因为,技术无论呈现何种具体形态,都是以人为核心而存在,为人所理解、掌握和应用。所以人力资源的流动必然伴随着技术转移。“二战”期间,为躲避战乱及法西斯迫害,欧洲特别是德国大批科学家逃往美国,就曾使这些国家许多领先技术特别是核技术转移到美国开花结果。
3、从技术功能上看,又可把技术转移区分为工艺技术转移和产品技术转移两种基本模式
一般来说,在产业技术系统内部,并存着工艺技术形态和产品技术形态两大系统,而每种技术形态又包含若干相关性极强的单元技术,它们共同构成社会生产活动的技术基础。从具体生产过程看,工艺技术是产品技术形成的技术前提和物质手段,直接决定着产品的技术性能和生产能力。而从社会生产总过程看,产品技术往往又构成工艺技术的单元技术(广义上说,工艺技术的实体本身就是特定的产品),它又影响着工艺技术的总体水平和效率。事实上,任何产业技术就其功能而言,都不是万能的,而是有其不同的侧重点。当技术侧重于影响生产流程,具有提高效率和扩张产量作用时,把这种技术的转移称为工艺技术转移;而当技术侧重于影响生产过程的结果,有助于提升产品的技术含量及功能拓展时,把这种技术的转移称为产品技术转移。一般来说,农业、采掘业领域的技术转移多属前者,而制造业、信息产业、建筑业等领域的技术转移多属后者。同时,工艺技术和产品技术在功能上又具有极强的相干性。因此,技术转移过程,又往往是通过工艺技术的转移来达到产品技术的升级,或通过产品技术的转移来实现工艺技术的改造。

阅读全文

与如何让技术流动起来相关的资料

热点内容
为什么英德农产品卖得那么火 浏览:851
在哪些平台如何才能进行外汇交易 浏览:616
历史价格数据怎么存储比较好 浏览:380
如何决定一个交易者的行为 浏览:316
在交易猫卖号怎么改 浏览:641
代理商超市欠货款怎么办 浏览:494
刮刮卡代理点怎么做 浏览:328
如何查询养老金的信息 浏览:605
小香港黄金交易哪个平台好 浏览:733
形态学实验技术是什么 浏览:520
学习电工维修技术哪里学 浏览:495
华为手机防触摸程序哪里关掉 浏览:697
怎么加盟代理项目 浏览:798
白云旅游职业技术学校怎么样 浏览:46
实体店代理奶粉怎么做 浏览:862
vb创新产品部是做什么 浏览:847
市场主要内容是什么 浏览:72
集宁有哪些技术学校 浏览:847
华为的手机如何退出程序 浏览:444
身份证到期前多久可以更新银行卡信息 浏览:852