Advice Columnist

非結構化數據

By GetLinks Recruitment

近年數據科學及人工智能發展迅速，大眾開始對數據(Data)有很大興趣，甚至有「數據是未來的石油」(Data is the new oil)的講法。很容易會聽到如大數據(Big Data)、數據導向決策(Data Driven Decision)、數據化組織(Data Organization)等等與數據相關的詞語，其中重點，不外乎都是如何運用已儲存的數據，通過數據處理及數據分析，從而得出結論，幫助決策。筆者今日希望談談的，是另一個技術用語，與大數據一詞經常一齊出現，就是非結構化數據(Unstructured Data)。

何謂數據

要理解非結構化數據，要先理解何謂數據，廣義上的數據通常指的是原數據(Raw Data)，是我們為了記錄事物而製造出來，因此要定義數據，筆者會用以下的定義。

數據本質上是紀錄(Record)，是狀態的紀錄(Record of states)，通常專指未經處理的原數據(Raw Data)。

記錄的形式可以包羅萬有、層出不窮，一個原始人結的繩結是數據；一本寫在竹簡上的書是數據；一個Excel檔案也是數據。資訊科技的高速發展，令我們可以儲存及記錄大量數據。由數據開始，人類可以掫取資訊(Information)，歸納為知識(Knowledge)，內化成智慧(Wisdom)。

所以數據是分析、學習的基礎，沒有數據，則無法從中掫取資訊，知識就更不可能由其中歸納而成。因此現今對數據的重視，最終目的，就在於希望由分析原數據，得到未知的見解(insight)。

結構化

只是有數據，仍是不夠，我們還需要將數據以結構化(Structured)的方式儲存，才能加以利用。試分析以下兩個情況:

1. 將銷售數據變成如下圖Excel欄及列的形式，分門別類處理好。

2. 收集好每一張銷售發票及銀行月結單，再作統計

要作銷售額統計，兩者較為容易呢？理所當然是前者。分野原因何在？最關鍵的原因，在於數據是否已經結構化，Excel的欄及列有明顯數據結構:Product、Countries、Qtr1、Qtr2都是早已定義好的標頭，要做的只是將不正確的數據清理好，就可以開始分析數據。

相反，銷售發票通常容許較多彈性，沒有統一的填寫方法，例如上圖description中，容許使用者任意填寫任何文字，就稱不上是結構化數據，因為根本沒有一個統一的格式，在分析上就會遇到很多困難。亦正是如此，很多公司都利用系統生成銷售發票，正是為了規範格式。

簡而言之，結構化數據方便處理，也更容易分析，將數據儲存成結構化的格式，有明顯的好處。

那為何非結構化數據成為討論熱點？

這就奇怪了，既然結構化的數據在處理遠比非結構化數據更為簡單，為何近年的討論都集中在非結構化數據之上呢？箇中原因其實很簡單，結構化數據在過去數十年間，早已是數據分析的中流砥柱，要分析結構化數據，甚至有一個專有的範疇:商業智能(Business Intelligence)就正正是專為了分析結構化數據而設，微軟近年開發的商業智能工具PowerBI就正正是其中最好的例子。

相反，非結構化數據卻被長期忽略，大家細想日常工作所傳送的電郵、收取的表格、Facebook上的影片等，都是數據的一部份，然而由於分析難度很大，通常在分析數據時，都會盡量避免處理這些數據，以節省人力物力。如分析大量Facebook影片的內容，不以人力逐一觀看，就只有運用現今深度學習的算法，如圖像辨識(Image Recognition)等，才能掫取有用的數據。正因如此，很多可能有用的數據就這樣被埋沒了。

結構化數據三層級

除了上述的例，結構化和非結構化數據還有其他例子嗎？下圖綜合了三種不同結構化程度的數據:

由上圖可見，圖片、影片、即時對話內容、錄音、手寫資料、電郵、二進位檔等都是非結構化數據的最佳例子。而關聯式資料庫、CSV檔、Excel檔案等則是結構化數據的例子，能夠使用傳統的數據分析工具去處理及理解。結構化數據及非結構化數據中間，還有一個灰色地帶，也就是半結構化數據，半結構化數據包含了常用傳輸格式: XML、JSON、YAML等，因為這些格式有一定的格式架構，例如JSON只支援數組(Array)、物件(Object)、字串(String)等常用的數據型別，但又不會像關聯式資料庫(RDBMS)般需要一個既定的型式，因此在編程中常常用作傳輸、儲存數據。NoSQL中使用的，也常常是半結構化數據，例如MongoDB就是儲存了JSON格式的數據。

有估計都認為，結構化數據及半結構化數據其實只佔了總體數據的百分之二十，剩餘的百分之八十都是屬於非結構化數據的領域。日常工作、瀏覽網頁，用戶時刻都製造了許多數據，而這些數據，很多就屬於非結構化數據。

非結構化與數據科學

正因大部份的數據本質上都是非結構化，因此在大數據時代的今日，要分析、處理、圖像化非結構化數據，就使數據科學(Data Science)成為了一門顯學。不同機構及公司都因此爭相聘請數據科學的人材，去處理這個長期忽略的「大多數」。無意之間也令大眾衍生了一種誤解:以為結構化數據與非結構化數據中間有一條楚河漢界，又或是以為非結構化數據是一個新的數據格式。實際上兩者都是由來已久，只是近年技術發展迅速，出現了不少大數據的工具，例如Apache Spark、Kafka、Hadoop等，數據處理工具Pandas等亦漸成主流，才令非結構化數據走到了舞台的中心位置。

GetLinks Recruitment

GetLinks Recruitment 是一家全方位的人材招募公司。自2015年以來，我們已經為亞洲超過20,000位人才找到了完美的匹配，我們的使命是為求職者和僱主提供一個高效的連接平台。 GetLinks Recruitment 迅速成為不少公司值得信賴的合作夥伴，在全球多個地點設有辦事處，提供一個真正全球化的專業人士和企業網路。

Keep reading

Related career advice

Advice Columnist

【仁面秀心】財富守門人的溫度與格局

有機會再次與財富管理資深專家楊婷婷頃吓食吓，在她百忙之中可以與我深度交流。在傾談中，隨心地探討了行業的本質與價值。婷婷的見解，讓我深刻體會到，卓越的事業並非單純的數字遊戲，而是以「仁面秀心」為核心的長遠修行。所謂「仁面」，是對客戶的同理與守護；「秀心」，則是內在的專業沉澱與不斷精進。利他與守護：初心決定格局著名未來學家 Joel Barker 曾言：「願景加上行動便能改變世界。」與婷婷的頃談中，大家一致認同，事業的起點是對行業社會價值的深刻認同。譬如，保險業賺錢只是完成願景的附屬品，真正的核心在於以客戶為中心，協助他們規避人生風險。這種「利他」精神，如保險是一件利他的事，能將優質的風險管理工具帶給客戶。婷婷察覺到許多家庭缺乏基本保障，卓越的從業員會將工作視為「守護」，幫助家庭在不確定中守住最長遠的保障；成為家庭和企業的財富守門人。當從業員以客戶福祉為出發點，銷售便不再是說服，而是價值的實現。同理與陪伴：贏得長遠信任很多行業，如財富管理就是一門經營信任的事業。國際研究指出，深層聆聽與同理客戶的情緒智商，是頂尖代理人最重要的特質。婷婷也強調，願意把客戶利益放在首位，甚至推薦更適合但佣金較低產品的顧問，反而能長久留住客戶。正如婷婷所言：「財富管理不只是產品解說，更是理解與陪伴。」信任的建立也需要專業的沉澱，她曾為素未謀面的客戶耐心重整繁複的保單，最終贏得了客戶的信任與轉介。長期服務與經營現有客戶所創造的效益，遠比不斷開發新客戶更為可觀。專業與進取：持續學習的秀心現代高淨值客戶對財務規劃的要求日益提高，卓越的從業員必須具備全面的視野。專業並非一蹴而就，而是持續學習的成果。婷婷強調「空杯心態」，持守努力並持續學習。這種內在的「秀心」，讓她能以理性、客觀的態度，打破大眾對行業的印象。同時，婷婷在社交平台持續分享專業知識，不盲目求快，而是以沉穩的節奏，腳踏實地走好每一步，堅信「只要一直在路上，終會有收穫。」今次與婷婷的傾談，讓我深刻認識到，專業的從業員不僅是財富的規劃者，更是人生的守護者。以「仁面」待人，以「秀心」行事，方能在這條道路上走得更穩、更遠。

Advice Columnist

你的職業，是資產，還是成本？

提起「資產」，很多人會想到股票、基金或物業，但從事財富管理超過二十年，我認為，每個人最重要、回報最高的資產，其實是自己的職業。在財富管理中，我們經常提醒客戶，真正能夠長期增值的，不只是金融資產，更重要的是持續創造價值的能力。放到職場上，道理同樣適用。每一天的工作，不只是換取薪酬，更是在累積自己的「職業資本」（Career Capital）——包括專業能力、經驗、信譽、人脈，以及解決問題的能力。年資會增加，價值卻未必同步提升 AI 發展迅速，知識更新速度愈來愈快。有人工作十年，市場價值愈來愈高；亦有人工作十年，卻發現自己掌握的技能已逐漸被取代。兩者最大的分別，不在於年資，而在於有沒有持續投資自己。管理年輕團隊時，我發現不少新一代重視薪酬、福利及晉升機會，這些固然重要，但我更鼓勵他們思考另一個問題：「這份工作，能否令三年後的自己，比今天更有價值？」因為真正值得追求的，不只是下一次加薪，而是不斷提升自己的市場競爭力。 AI 可以提升效率，但不能建立信任近年，AI 已能協助完成資料整理、分析，甚至撰寫報告。然而，在財富管理行業，我們最重視的，始終是理解客戶需要、建立信任，以及在充滿變數的市場中作出專業判斷。科技可以提升效率，但判斷力、責任感、溝通能力和同理心，仍然是無法被完全取代的核心價值。未來企業真正需要的，不只是懂得使用 AI 的員工，而是懂得善用 AI，同時具備獨立思考能力的人才。投資自己，才是最好的長線回報另外，財富管理講求長線投資，人才培育亦然。我經常鼓勵年輕同事，不要只做一個完成工作的執行者，而要努力成為能夠解決問題、創造價值的人。當你的能力來自持續學習、跨界思維及判斷力，而不是單一技能，你的職業資本便會像優質資產一樣，隨時間累積價值。同樣，面試年輕人時，建議不要只問他/她懂甚麼，而會問問他/她最近學了甚麼；因為知識會過時，但持續學習的能力，才是真正能夠複利增值的資產。對企業而言，投資人才亦是最具回報的長線投資。完善的培訓、跨部門歷練、持續學習文化，不但提升員工能力，更能建立企業的長遠競爭力。財富管理有一個重要概念，就是「複利」。我認為，職涯發展同樣存在複利效應。每天多學一點、多承擔一步、多累積一次經驗，看似微不足道，但經過數年，便會形成別人難以複製的競爭優勢。你的職業，不應只是每月換取薪金的工具，而是一項值得長期經營的人生資產。懂得投資自己的人，無論市場如何變化，都能持續創造屬於自己的價值。

Advice Columnist

【職場 Hacker】資源有限，如何快速成長？

以下故事，純屬虛構，如有雷同，實屬巧合一個沒有資源的創業者 Tom 是一位 32 歲的創業者。兩年前，他辭職創業，想做一個 B2B SaaS 產品。但他面臨一個巨大的問題：他沒有資源。他沒有資金——只有 50 萬積蓄，連一個像樣的辦公室都租不起。他沒有人脈——不認識投資人、不認識大企業的決策者、不認識行業裡的關鍵人物。他沒有團隊——只有他和一位技術合夥人，兩個人要做產品、做銷售、做客服。那天晚上，Tom 坐在出租屋裡，看著銀行帳戶裡越來越少的餘額，感到深深的焦慮。他開始懷疑：沒有資源，我真的能成功嗎？第二天，他約了一位成功創業者喝咖啡。這位創業者 5 年前也是白手起家，現在公司年營收超過 3 億。Tom 問他：「你當初是怎麼在沒有資源的情況下起步的？」創業者笑了笑，說：「Tom，你知道嗎？資源不是成功的前提，槓桿才是。」什麼是槓桿思維創業者分享了他的經驗。他說，很多人以為創業需要很多資源——資金、人脈、團隊。但真正的創業者知道，你不需要擁有資源，你只需要撬動資源。「這就是槓桿思維，」創業者說。「用最小的投入，撬動最大的產出。」他舉了一個例子。他剛創業時，也沒有資金、沒有人脈、沒有團隊。但他用了三個槓桿，快速啟動了公司：第一個槓桿：借用別人的信任。他沒有客戶，但他的前老闆有。於是他找前老闆談，說：「我想為你的客戶提供免費的產品試用，作為回報，你可以獲得 10% 的推薦佣金。」前老闆同意了，介紹了 5 個客戶給他。這 5 個客戶成為他的第一批種子用戶。第二個槓桿：借用別人的專業。他不懂銷售，但他認識一位銷售高手。於是他找這位高手談，說：「我想請你做我們的銷售顧問，不需要全職，只需要每週花 2 小時指導我們。作為回報，你可以獲得 5% 的股權。」這位高手同意了，幫他建立了銷售體系。第三個槓桿：借用別人的平台。他沒有品牌知名度，但行業媒體有。於是他主動聯繫幾家行業媒體，說：「我想分享我們在 B2B SaaS 領域的實踐經驗，可以寫一篇專業文章。」媒體同意了，發布了他的文章。這篇文章為他帶來了大量潛在客戶。「你看，」創業者說，「我沒有資源，但我撬動了別人的資源。這就是槓桿思維。」三種槓桿：人、平台、系統創業者繼續分享。他說，槓桿思維有三種核心槓桿：第一種槓桿：人的槓桿。找到那些擁有你需要的資源的人，然後用價值交換的方式，撬動他們的資源。比如，你需要客戶，就找那些有客戶的人；你需要專業知識，就找那些有專業知識的人；你需要資金，就找那些有資金的人。創業者說，他創業的前兩年，沒有招聘任何全職員工，而是用「價值交換」的方式，撬動了 10 多位專業人士的資源——有人提供銷售指導、有人提供技術支持、有人提供客戶介紹。他用股權、佣金、或者互惠的方式，建立了一個「虛擬團隊」。「記住！」創業者說，「你不需要擁有人才，你只需要撬動人才。」第二種槓桿：平台的槓桿。找到那些已經有流量、有用戶、有影響力的平台，然後借用他們的平台來推廣你的產品或服務。比如，你可以在行業媒體發表文章、在社交媒體分享內容、在行業活動演講、在線上平台開課。創業者說，他創業的第一年，沒有花一分錢做廣告，而是用「內容行銷」的方式，在各大行業媒體、社交媒體、線上平台發表文章和分享經驗。這些內容為他帶來了大量潛在客戶，成本幾乎為零。「記住！」創業者說，「你不需要建立平台，你只需要借用平台。」第三種槓桿：系統的槓桿。建立可複製、可擴展的系統，讓你的產出不再依賴你的時間和精力。比如，你可以建立標準化的流程、自動化的工具、可複製的模板，讓一個人的工作變成十個人的工作。創業者說，他創業的第二年，開始建立系統化的銷售流程、客戶服務流程、產品開發流程。這些系統讓他的團隊效率提升了 […]