近年來，大資料概念早已在國內銀行業中大規模普及，越來越多的企業開始嘗試借助大資料技術的力量，來推動企業內部與外部的創新。但是，由於大資料與傳統技術的理念與技術差異，導致很多銀行和企業在實施大資料戰略的過程當中，遇到各種各樣的問題。因此，如何使用正確的方法和步驟運用大資料技術，是眾多金融服務機構在試水大資料技術時首先遇到的難題。
近線資料
近線資料服務平台，是大資料技術在銀行業中的一類平台性應用。其核心的理念在於，以大資料技術為基礎，將全量資料從離線與近線系統中統一複製到近線平台，使得該平台儲存企業中全量核心資料。近線資料服務平台的業務價值目標包括「離線資料近線化」與「近線資料**」。
離線資料近線化：
銀行中的離線資料一般包括2
近線資料**：
很多銀行的近線資料儲存在
ods或數倉中。而隨著業務規模的擴大，企業一方面需要不斷對近線資料進行歸檔，另一方面需要不斷對這些系統進行擴容。而以傳統關係型資料庫為基礎的
ods或數倉的擴容成本相當高昂，因此，以大資料分布式計算儲存為平台，將部分
ods或數倉的功能轉移至近線資料平台，可以實現對當前
ods或數倉系統的**。
除了「離線資料近線化」與「近線資料**」兩大業務目標外，近線資料服務平台的搭建圍繞著初期投入小、見效快、以及安全可靠三大目標建設。
近線資料平台
近線資料服務平台的整體架構包括「近線資料歸檔區」、「固定模式訪問區」、「自由查詢資料區」以及「資料加工排程區」四大模組。
典型近線資料平台架構圖
近線資料歸檔區：
其中，近線資料歸檔區作為外部資料在近線資料平台中的拷貝，除了作為資料來源提供給資料加工排程區進行加工外，還承載著對關鍵業務資料的歸檔功能。業務資料一旦進入近線資料歸檔區，便無法通過任何方式進行改變。因此，該區域可以替代傳統磁帶的部分功能。
資料加工排程區：
資料加工排程區作為另外三大資料儲存區的銜接層，一方面負責對近線資料歸檔區中的資料進行加工、清洗、去正規化化等操作，以提供給固定模式訪問區進行定製化查詢；另一方面則負責將自由查詢資料區中不存在、或被刪除的資料在訪問時動態地實時複製到指定區域。
固定模式查詢區：
固定模式查詢區則提供對銀行內外部應用的固定查詢。例如，對於
ecif
自由查詢資料區：
自由查詢資料區則是近線資料歸檔區的子集，包含近線資料歸檔區內全部表的定義以及每個表的全部或部分資料。該區域的資料可以開放給行內使用者進行自由查詢分析，並通過資料加工排程區動態識別需要訪問表的資料範圍，並動態地將不存在於自由查詢區內的資料從近線資料歸檔區進行複製。該區域與近線資料歸檔區進行隔離的目的在於，確保任何資料訪問均不會對已經歸檔的資料造成影響。同時，當該資料區空間占用較多時，可以通過指令碼將不常訪問的表中的資料清除以釋放空間。
通過近線資料服務平台的歸檔與自由查詢區，企業可以實現對傳統離線與近線資料的近線化與**操作。同時，固定模式查詢區甚至可以將這些資料提供給銀行對終端使用者的應用。譬如，銀行可以從這四個方面實現以近線資料平台為基礎的應用創新：
2）自由查詢：行內自助報表系統、司法查詢系統等；
3）生產系統**：數倉與ods**、t+0使用者實時資產檢視；
4）分布式影像平台：影像憑證管理、遠端開戶錄影等。
sequoiadb巨杉資料庫
，結合spark大資料技術，能夠滿足近線資料服務平台端到端的搭建工作。sequoiadb提供的分布式框架滿足分布式、高可用、高效能、易維護等特性，同時其多維分割槽、靈活索引、雙引擎核心、以及標準sql支援等特性為企業級近線資料服務平台奠定了最佳的資料儲存與計算基礎。
產品特性
解決方案與案例
技術文件
醫療健康大資料服務平台技術架構
摘要 醫療健康大資料服務平台是乙個包含多個業務系統 多個自身管理軟體 是一系列軟 硬體和人員 政策支援的綜合系統體系，統一建設醫療健康雲計算服務中心，集中儲存居民醫療衛生資訊和居民電子健康檔案等資料，滿足社會大眾 醫務工作者 各級衛生主管部門 第三方機構的應用需求。醫療健康大資料服務平台是乙個包含多...
mysql資料伺服器 手動配置資料伺服器mysql
1.mysql檔案和資料夾 linux 配置檔案檔案字尾為cnf bin 放可執行性檔案 include 存放標頭檔案 lib 存放庫檔案 share 存放字符集，語言等資訊 my.ini mysql軟體正在使用的配置檔案 my huge.ini 當mysql軟體為超大型資料庫時使用的配置檔案 my...
資料服務系統的定位
版本 v1.0 最後更新日期 2013 2 17 資料服務領域的工作是計算密集型的，相對於其他it 系統，資料服務系統的計算往往更具複雜性。例如，資料服務系統內的作業較少在 1分鐘以內結束，有時候甚至要花費超過一周的時間完成。在提供資料或分析時，我們常說資料質量是第一重要的 結果不可信，無論表達方式...