⑴ 請問:PQ是什麼意思
最近很多人都在問我關於PQ、PP、PBI的問題,我感覺是時候帶大家了解Excel的這些插件了。大家知道我極力推薦大家卸載2013之前的Excel,很大一部分原因就是因為Excel2013之後的版本集成了這些插件。那接下來的時間,就讓我們看看這些簡稱都是什麼意思?他們都能做些什麼?
微軟的BI發展戰略
微軟有一款企業級的產品叫SQLServer,相信有的同學肯定聽說過。它是一款商業用的資料庫產品(意味著是收費的),包含了數據處理過程中的各種內容。核心功能包括:數據清洗、數據建模、數據呈現。
而近幾年微軟的發展慢慢向個人市場傾斜,將這些功能開放到Excel這個產品中。通過Excel龐大的用戶基數,迅速佔領分析和BI市場。事實證明微軟的戰略是對的。下圖為Gartner公司2020年分析與商業智能 BI 平台魔力象限。微軟正處於這個領域領先的位置。
數據清洗工具PQ
PQ全稱為PowerQuery,Power Query 是 Excel 中可用的三大數據分析工具之一。但在2016之後的版本中這個名字已經找不到了,但是大家還是喜歡稱為PQ。因為其功能的強大微軟在2016之後的版本已經將其內化入Excel
PowerQuery是一種數據連接技術,功能主要包含三個部分:連接(獲取)、轉換、合並。
連接其實就是獲取數據的數據的能力。PowerQuery的數據獲取能力很強操作也很簡單。按照分類來說可以分為以下幾類:
1. 文件類:Excel文件、CSV文件、JSON文件、XML文件等以文件存儲的數據
2. 資料庫:SAP HANA、Mysql、SQLServer、Oracle等主流資料庫
3. 網頁:PowerQuery通過簡單操作即可獲取網頁數據,俗稱:爬蟲。有了這個功能大部分的API,PowerQuery也能調用了
4. 其他數據源:Facebook、Azure、ODBC、Hadoop等
還要一點就是PowerQuery已經在PowerBI中集成了Python和R語言,相信很快也會被集成在Excel中。有了Python和R的加持,PowerQuery的獲取能力將更加強大,可以說PowerQuery將無所不能。所以我稱其為最強手臂。
轉換的能力就是將數據清洗為可用於分析的能力。關於轉換這一點不是我們這篇短文能講清楚的。你只用先了解以下幾點就好:
1. PowerQuery轉化數據是有專門的語言稱為M語言
2. PowerQuery大部分功能只需要點擊滑鼠即可生成M語言
3. 每一步操作都可以生成一個表緩存,你可以在任何節點再引用
4. 數據存儲的空間有List、Record、Table,數據類型常用的有Text、Number、Date;
5. M語言其實是函數語言,通過操作上面的對象來完成數據清洗工作;
合並能力就是將不同的表連接到一起。主要的合並方式有兩種:合並和追加
1. 追加最容易理解就是上下拼接在一起
2. 合並是指將兩種表根據一個或多個欄位的關聯關系橫向拼接在一起
上面這點現在聽不懂沒關