① JavaWeb項目需要幾個人完成,時間大概多長
實際開發:mvc模式開發,ssh等框架要熟練,酒店管理系統的話,一個人,一個星期就可以完成功能,(當然也要看功能的多少,基本的功能肯定可以完成),如果功能多的話肯定不行,比如你加了個網上支付,二維碼之類的功能,肯定一個星期完成不了。如果要多個人的話,得分工合作,資料庫什麼的一個人搞,頁面的要一個,後台啦,具體的業務操作得2-3個人。如果是要給客戶正式運營的話,你得找到好的美工,現在都是靠門面的,功能誰不會做。
② 做一個大數據項目一個團隊一般如何分工的
今年我們項目組剛好入手一個教育大數據的項目,我們是研究一些教育大數據,從中挖掘出一些跟教育相關的因果關系一達到對這些數據進分析、處理,並從中挖掘出有價值的信息進行改善教育模式、提升教育質量的目的。我們項目組當時分組情況如下:信息採集組、數據清洗組、數據融合組、數據挖掘組、數據可視化組。
根據每組的名稱很好理解,信息採集組主要是通過網路爬蟲來採集數據,當然還可以根據業務需求,通過不同的方式來採集數據;數據清洗組主要就是把一些無效的臟數據找出來剔除或者替換,任務量其實很大,因為爬來的數據臟數據量很大,這個組的工作周期一般很長,任務也很重;數據融合組主要就是把爬來的課程信息把相似的歸類,有上下級關系的就按照子類父類的關系列好,這一組的工作非常不好完成,目前我們做的融合效果不算好,想融合好算是一個難點。數據挖掘組就是拿到可用的數據之後通過數據挖掘演算法,去研究之前設定好的影響因子之間的因果關系,主要的分類演算法有決策樹、貝葉斯分類、基於規則的分類、神經網路、持向量機 、懶惰學習演算法中的K-最近鄰分類和基於案例的推理等演算法;數據可視化組顧名思義就是把數據挖掘組的成果可視化展示,這樣可以直觀的看到數據之間的關系,並利用數據分析和開發工具發現其中未知信息的處理過程。
③ 大數據 BI兩者什麼關系企業用BI嗎
在商務領域,應用大數據和應用BI到底有什麼區別,好像都是和數據分析、數據挖掘到最後的數據結果有關系,隨著大數據和BI的發展,又有聲音說BI將會替代大數據,到底BI和大數據兩者什麼關系。
第三、發展方向不同
BI的發展要從傳統的商務智能模式開始轉換,對於企業來說,BI不僅僅是一個IT項目,更是一種管理和思維的方式,從技術的部署到業務的流程規劃,BI迎來新的發展。對於大數據來說,現階段更多的大數據關注在非結構化數據,不同的數據分析工具的出現和行內的應用范圍不斷的加大,對於大數據應用來說,怎麼與應用的行業進行一個深層次的結合才是最重要的。
伴隨BI的發展,BI的應用范圍越來越廣,對於大數據來說,一些傳統的BI工具實現不了的數據結果分析,往往也會給大數據帶來意想不到的發展空間。
如果是企業,考慮實用性的話,BI工具在企業的信息化建設方面更具有優勢,而且是個大趨勢,國內很多商業智能軟體比如FineBI會更貼近國內企業的情況,可以了解一下。
④ 國內目前有幾家做大數據BI的公司都有什麼不同
國外BI:SAS BI、IBM的cognos、Oracle BIEE、SAP BO、Power-BI、Informatica、Arcplan、QlikView、Tableau等等;
國內BI:海致BDP、smartbi、用友華表、帆軟、潤乾報表,永洪科技等。
國內BI比較熟悉的有這3款
1、BDP商業數據平台
1)這兩年很熱,行業都比較贊賞。BDP旨在幫助企業快速完成多數據整合,建立統一數據口徑,支持自助式數據准備(ETL),並提供靈活、易用、高效可視化探索式分析能力,幫助企業構建貼合自身業務的企業洞察。BDP可以靈活接入與同步多種數據源,包括各類資料庫連接、OpenAPI以及各種SaaS平台API,滿足企業多種多樣的業務場景、億行數據秒反應,快速實現數據清洗、整合、載入,通過拖拽即可可視化分析,支持近數據地圖、漏斗圖、旭日圖、餅圖、柱狀圖、折線圖、詞雲、雷達等30種圖表類型,讓數據更加直觀、美觀。
2)BDP商業數據平台為企業提供的核心價值在於用直觀、多維、實時的方式展示和分析數據,並可在APP實時查看和分享,全面激活企業內部數據,用數據驅動業績,適應快速變化的市場。目前他們服務的客戶也很多,涵蓋互聯網、零售快消、物流、O2O、教育SEM等多個行業。
3)跟他們公司的人接觸過,服務態度很好,也很專業,價格不貴。
3、永洪
1)永洪利用sql處理數據,不支持程序介面,實施交由第三方外包。永洪的技術主要分為大數據和可視化兩點。在大數據方面,通過列存儲、分布式計算、內存計算、分布式通訊等技術,永洪自主研發了高性能的大數據計算引擎,作為分析用的數據集市,可實現百億級數據在秒級時間內完成計算。
2)在可視化方面,永洪將復雜的多維分析功能隱藏在背後,在前端通過點擊和拖拽的簡單可視化操作實現各種復雜的分析過程。
3)需要一定的技術門檻,交互比較復雜點
⑤ 大數據bi是什麼
大數據BI是能夠處理和分析大數據的BI軟體,區別於傳統BI唻軟體垍頭,大條數據BI可以完成對TB級別數據的實時分析。大數據可以概括為4個V,數據量大(Volume)、速度快(Velocity)、類型多(Variety)、價值密度低(Veracity)。大數據作為時下最火熱的IT行業的詞彙,隨之而來的數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。隨著大數據時代的來臨,大數據BI也應運而生。
主要功能
編輯
開源大數據生態圈
1.HadoopHDFS、HadoopMapRece,HBase、Hive漸次誕生,早期Hadoop生態圈逐步形成。
2.Hypertable是另類。它存在於Hadoop生態圈之外,但也曾經有一些用戶。
一體機資料庫/數據倉庫
IBMPureData(Netezza),OracleExadata,SAPHana等等。
數唻垍頭條據倉庫
TeradataAsterData,EMCGreenPlum,HPVertica等等。
數據集市
QlikView、Tableau、國內永洪科技YonghongDataMart等等。
YonghongDataMart是基於自有技術研發的一款數據存儲、數據處理的軟體。針對客戶需要處理需求數據的量級不同,IT系統架構的不同和存儲系統的不同,提供了兩種解決方案供客戶選擇一種本地模式,一種是MPP模式。當需要處理的數據量級別處於TB級以下,或者採用普通存儲結構,或者單機已經足夠滿足性能需求,建議用戶選擇本地模式。當面對異構資料庫存儲系統,需要處理的數量級別在TB級和PB級以上,或者IT系統和存儲系統採用分布式,或者需要MPP模式才能滿足性能需求,基於分布式架構的並行處理模式更適合客戶的需求。
⑥ 大數據工程師告訴你大數據和BI的區別
【導讀】在進行大數據分析的時候,分析師需要從海量的收集數據中,通過不同的演算法直接分析不同渠道、格式的數據,從中找到相關數據,然後再做進一步分析,得出較為准確的結論。近年來大數據行業頗受歡迎,報考人數也是越來越多,所以我們更需要全面了解,今天我們就來了解一下大數據和BI的區別。
1、從思維方式角度
大數據對於傳統BI,既有繼承,也有發展,從」道」的角度講,BI與大數據區別在於前者更傾向於決策,對事實描述更多是基於群體共性,幫助決策者掌握宏觀統計趨勢,適合經營運營指標支撐類問題,大數據則內涵更廣,傾向於刻畫個體,更多的在於個性化的決策。
2、從工具的角度
傳統BI使用的是ETL、數據倉庫、OLAP、可視化報表技術,屬於應用和展示層技術,目前都處於淘汰的邊緣,因為它解決不了海量數據(包括結構化與非結構化)的處理問題。而大數據應用的是一個完整的技術體系,包括用Hadoop、流處理等技術解決海量的結構化、非結構化數據的ETL問題,用Hadoop、MPP等技術計算海量數據的計算問題,用redis、HBASE等方式解決高效讀的問題,用Impala等技術實現在線分析等問題。因此是個全新的行業。
3、從數據來源角度
大數據應用的數據來源,不僅僅包括非結構化的數據,還有各種系統數據,資料庫數據。其中非結構化數據主要是集中在互聯網以及一些社交網站上的數據以及一些機器設備的數據,這些都構成了大數據應用的數據來源。對於大數據的分析工具來說,現階段也是對於非結構化的數據分析的比較多。
BI系統則是在數據集成方面的技術越來越成熟,對於數據的提取,一個各種數據挖掘的要求來說,數據集成平台會幫助企業實現數據的流通和交互使用,在企業內部實施BI應用就是為了可以更好的對數據進行分享和使用。
4、從發展方向角度
BI的發展要從傳統的商務智能模式開始轉換,對於企業來說,BI不僅僅是一個IT項目,更是一種管理和思維的方式,從技術的部署到業務的流程規劃,BI迎來新的發展。對於大數據來說,現階段更多的大數據關注在非結構化數據,不同的數據分析工具的出現和行內的應用范圍不斷的加大,對於大數據應用來說,怎麼與應用的行業進行一個深層次的結合才是最重要的。
關於大數據和BI的區別,就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助,想要了解更多的大數據工程師技能、方法、課程等等,歡迎大家前來了解咨詢。
⑦ 一個完整的大數據開發部門需要什麼人人員構成是怎麼樣的
大數據開發通常需要編程技能,根據我3年多的編程經驗,編程技能將帶來更好的開發。大數據開發一般有數據倉庫開發、數據分析、數據開發三大類,每一類都需要不同的技能。但他們都有很多共同點。一般技能: 除了基本的 sql 能力,包括使用傳統資料庫如 mysql 和 oracle,以及分布式資料庫如 hive 和 hbase 的能力,其他的,如 maprece 和 spark,會更好。可以使用聚類,聚類除了問題具有一定的解聚類問題的能力。數據倉庫開發: 能夠編號倉庫建模、維表、事實表、主題表、星型模型、雪花型模型等,熟悉業務、全局視圖,建立數據倉庫。數據開發: 數據開發有離線開發和實時開發,這種後端開發比較偏向於 java 按需開發,加上程序的日常維護。數據分析: 這需要很強的 sql 技能,如果你能在數據分析中使用 python 會更好。要掌握像 sqoop 和 kettle 這樣的常用 etl 工具,請使用報告系統。當然,如果你想學習,你可以學得更深入。畢竟,在通常的發展過程中,特別是小公司的分工不明確,這些技能或多或少都是我們需要掌握的。一個人可以成為幾個人,就像一個全能工程師。
⑧ 一個成功的BI項目實施需要注意哪些
在項目實施中,實施人員的參與度非常重要。BI的參與人員基本上是這樣幾類人:
1、高層管理者:最關心經營邏輯是怎麼通過報表系統展示出來的;
2、經理層:關注分析基礎工具的准備是否到位;
3、業務執行層:關心如何響應不斷變化的需求,需要什麼維度數據統計來做報表;
4、IT支持人員:更多的是站在技術的角度把系統的數據融合起來,解決「信息孤島」問題。
在實施過程中,由於參與者的觀念差異,會朝著不良的方向發展,比如直接將原來手工出的報表丟出來當需求,最常見的問題是:你能不能用系統幫我將XX報表實現;有一少部分單純做數據處理的人會有危機感;會有個別因為實施系統會對原有工作發生改變而不積極,如原來處理錯誤的可手工調節。
所以合格的實施項目經理不是技術實現,而是組織系統實現,前提是深刻理解業務;對於總體設計需要一個靈魂任務,比較好的理解高層管理者的經營邏輯,通過BI管理的變化,但是這個角色絕不能是技術人員擔當;需求階段要聽實際執行層的業務管理人員的需求,但不能全體;在實現階段要本單位的系統人員參與,解決數據的取數問題;在基礎數據准備階段要求執行層人員參與一步步核對數字;分析時要盡量要求執行層人員親自做展示頁面。
整合的關鍵是要建立規范,主要體現在下面幾個方面:
1、系統與系統間的不規范問題&數據校驗
例如,同一內容在不同系統不同的叫法;同一內容在不同系統不同的分類法;同一內容在不同系統不同的統計規則;手工數據需要注意校驗。
2、注意系統取數溯源法
系統之間不可能是互相成立的,生產系統數據間可能有互相同步,所以一定要保證數據來自最原始的系統,不要用中間資料庫系統的數據。
3、系統數據同步次序安排的考慮
FineBI之所以能快的核心在於建立cube,建立大量索引。建立索引的工作會放到晚上,做同步。
⑨ 一個少於50人的軟體公司,做項目開發的一般有多少人(就整個公司一共)
看情況吧,一般的項目4-5個人也能搞定,或者更少也行,大項目就難說了,不好界定這個標准,得具體看需求