▲圖2***代離線計算平臺架構第二代架構從2012～2014年，在承載離線計算的基礎上，擴展了平臺能力，支持實時計算的需求，如圖3所示?！鴪D3第二代實時計算平臺架構在***代離線計算平臺基礎之上，我們融合Storm和Spark構建了第二代實時計算平臺。主要的演進如下。1）集成Spark，離線計算比Hadoop性能更高。2）引入Storm，支持秒級/毫秒級的流式計算任務。3）建設了實時采集系統(tǒng)TDBank，數(shù)據(jù)采集實現(xiàn)從天級（T+1）到秒級的飛躍。4）支持資源和任務調度方面，平臺支持離線與在線混合部署，任務容器化，資源管理的維度支持CPU、內存，以及網絡與I/O，進一步提升了平臺輕量化、敏捷性與靈活性，極大提升了平臺利用率，降低了成本。第三代架構從2015～2019年，在通用大數(shù)據(jù)計算外，開始支持機器學習、深度學習等AI場景，BigData與AI在平臺層面逐步融合，如圖4所示。▲圖4第三代機器學習計算平臺在第二代實時計算平臺基礎上，自主研發(fā)了機器學習平臺Angel，并以Angel為**構建第三代機器學習計算平臺生態(tài)。主要演進如下。1）我們與北京大學合作，自主研發(fā)了高性能分布式機器學習平臺。該平臺支持十億至百億維度模型，支持數(shù)據(jù)并行及模型并行，支持在線訓練。同時。數(shù)據(jù)采集的結果可以用于制定營銷策略、產品研發(fā)和業(yè)務決策。泰州企業(yè)數(shù)據(jù)采集二次開發(fā)

    ?線上行為數(shù)據(jù)：頁面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會話數(shù)據(jù)等。?內容數(shù)據(jù)：應用日志、電子文檔、機械數(shù)據(jù)、話音數(shù)據(jù)、社交傳媒數(shù)據(jù)等。?大數(shù)據(jù)的主要來源：1）商貿數(shù)據(jù)2）互聯(lián)網數(shù)據(jù)3）傳感器數(shù)據(jù)數(shù)據(jù)采集與大數(shù)據(jù)采集區(qū)別傳統(tǒng)數(shù)據(jù)采集1.來源單一，數(shù)據(jù)量相對于大數(shù)據(jù)較小2.構造單一3.聯(lián)系數(shù)據(jù)庫和并行數(shù)據(jù)儲藏室大數(shù)據(jù)的數(shù)據(jù)采集1.來源普遍，數(shù)據(jù)量龐大2.數(shù)據(jù)種類豐沛，包括結構化，半結構化，非結構化3.分布式數(shù)據(jù)庫傳統(tǒng)數(shù)據(jù)收集的缺乏傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲、管理和分析數(shù)據(jù)量也相對較小，大都使用關系型數(shù)據(jù)庫和并行數(shù)據(jù)庫房即可處置。對倚賴并行測算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫技術追求高度一致性和容錯性，根據(jù)CAP學說，難以確保其可用性和擴展性。大數(shù)據(jù)搜集新的方式?系統(tǒng)日志采集方式很多互聯(lián)網企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用以系統(tǒng)日志收集，如Hadoop的Chukwa，Cloudera的Flume，F(xiàn)acebook的Scribe等，這些工具均使用分布式架構，能滿足每秒數(shù)百MB的日志數(shù)據(jù)采集和傳輸需要。?網絡數(shù)據(jù)采集方式網絡數(shù)據(jù)采集是指通過網絡爬蟲或網站公開API等方法從網站上得到數(shù)據(jù)信息。該方式可以將非結構化數(shù)據(jù)從網頁中抽取出來。南通數(shù)據(jù)數(shù)據(jù)采集怎么收費數(shù)據(jù)采集的結果可以通過數(shù)據(jù)分析和可視化工具來展示和解釋，以幫助人們更好地理解數(shù)據(jù)。

    方案三：第三版解決方案的問世是神策針對第二版方案持續(xù)完善、迭代的結果。假設場景如下，某App內基層H5的開發(fā)者是第三方供應商。在這個情況下，會產生以下兩個問題：（1）第三方供應商不是神策的客戶，沒法實現(xiàn)數(shù)據(jù)采集，更沒辦法完成“打通”；（2）第三方供應商是神策的客戶，此時App與H5可以實現(xiàn)真正打通，但很多情況下會被迫收到很多不需要的數(shù)據(jù)，我們叫“臟數(shù)據(jù)”，而H5的供應商則會發(fā)現(xiàn)他們無法采集到完整數(shù)據(jù)，很多事件“莫名其妙”地丟了……這是因為App與H5打通后，H5的事件默認傳給了App。因此，在這種情況下，我們需要對更多的細節(jié)進行考慮，通過H5給App白名單的形式，實現(xiàn)H5的向App的事件上傳。這個時候，我們就會面臨新的場景需求，第三方供應商答應把數(shù)據(jù)傳給App，但是自己也要求保留一份。綜合來看，App與H5的打通看起來是一個比較常見的場景，但在執(zhí)行的過程中往往面臨較多挑戰(zhàn)。從2016年到***，面對App和H5的打通，我們一直在更新迭代中，目的是為了能夠適應各種復雜的場景，特別是涉及第三方開發(fā)框架、第三方瀏覽器等的“打通”。案例二：App啟動與退出啟動什么叫“App啟動”？有人說，使用App即“App啟動”，那如果使用音樂播放器。

    也正是堅守于此，過去五年，不論是在數(shù)據(jù)采集技術，還是數(shù)據(jù)治理方案等方面，我們都做了很多的工作，也幫助了很多的客戶。比如我們建立強大的數(shù)據(jù)采集SDK研發(fā)團隊，并將SDK全部開源，也維護著近1500人的開源討論社群，同時不斷向業(yè)界輸出我們的積累、經驗和沉淀，讓數(shù)據(jù)采集技術不再神秘，更讓數(shù)據(jù)采集技術的生態(tài)更好、更健康的向前發(fā)展。二、業(yè)內常見的數(shù)據(jù)采集方案目前，市面上常見的埋點方式主要有三種：代碼埋點、全埋點和可視化埋點。1.代碼埋點代碼埋點，即客戶端集成SDK，在客戶端啟動的時候初始化SDK，然后在某個事件（行為）發(fā)生時，客戶端顯示調用SDK的接口觸發(fā)相應的事件。代碼埋點，是**常見的埋點方式，同時也是“*****”的埋點方式。其優(yōu)點如下：（1）可以精細控制埋點；（2）可以靈活添加自定義事件和屬性；（3）可以滿足更精細化的分析需求。同時，代碼埋點也有一些缺點：（1）前期埋點代價比較大；（2）埋點的變更，需要伴隨客戶端的發(fā)版。2.全埋點全埋點，也叫無埋點、**埋點、無痕埋點、自動埋點等，是指無需開發(fā)工程師寫代碼或者只寫少量的代碼，就能預先自動采集用戶的所有行為數(shù)據(jù)，然后在數(shù)據(jù)分析產品上通過點選和配置，來篩選要分析和統(tǒng)計的對象。數(shù)據(jù)采集為企業(yè)提供了客觀、準確的信息，幫助其做出更明智的決策，實現(xiàn)可持續(xù)發(fā)展。

    一.什么是產品定位通常我們講定位時，可能涵蓋3種意思。坐標，當前所處的位置。方向，指想要去的地方。聲明，對定位的具體描述。在定位前加上“產品”，也有其3種意思。該產品在不同維度中（例如價格和市場、對象和業(yè)務等）的市場位置。確定該產品的發(fā)展方向，以及如何發(fā)展。對該產品定位的文字描述和解釋。二.為什么做SaaS定位概念弄清楚后，我們來看看為什么要做SaaS產品的定位。認清現(xiàn)實基于現(xiàn)實考量，清晰認識自己和市場。任何產品都無法滿足所有的人，也不是所有客戶都有利可圖。對于大多團隊來說，資源永遠有限且緊張，只有明確方向，才能集中力量辦大事。總有不如他人的地方，要想生存和發(fā)展，需要明確自己的強項和優(yōu)勢。處理階段問題對于SaaS產品，不同的階段需要解決不同的問題。在初創(chuàng)期，通常沒有或擁有很少的客戶。此時的定位，是幫助我們如何切入市場，以便能夠存活下去。到發(fā)展期，擁有了一定的客戶基礎。此時的定位，是通過明確價值主張來吸引到更多的目標客戶。至擴展期，擁有了大量的客戶。此時的定位，是指導企業(yè)如何進行縱向的發(fā)展（提供更***的產品解決方案）和橫向的發(fā)展（在價值頻段上服務不同的客戶群體）。錨定內外心智是什么很重要。數(shù)據(jù)采集可以幫助企業(yè)識別和解決問題，提高業(yè)務流程的效率和質量。溫州企業(yè)數(shù)據(jù)采集方案

通過數(shù)據(jù)采集，企業(yè)可以更好地了解市場需求、客戶行為和競爭對手情況。泰州企業(yè)數(shù)據(jù)采集二次開發(fā)

    ②計算變量：計算變量的目的是調用決策引擎；③調用決策引擎：部署有催收策略；④確定催收策略：將變量傳給決策引擎后，決策引擎會返回確定的催收策略。產生“是否催收、自己催or外包、如何催、分配給哪位催收員、什么時候打電話、用哪個溝通模板”等類型風險決策；⑤分配催收任務：根據(jù)案件催收難度分配給不同催收員；⑥記錄催收結果：將催收結果進行歸類，如：失聯(lián)、無人接聽、占線、承諾還款等。四、征信平臺系統(tǒng)策略和模型的基礎是數(shù)據(jù)，數(shù)據(jù)分為內部數(shù)據(jù)和外部數(shù)據(jù)，調用外部數(shù)據(jù)就是由征信平臺系統(tǒng)進行。**功能模塊：調用、解析、征信數(shù)據(jù)庫①調用：將客戶參數(shù)調用傳給外部數(shù)據(jù)源相關機構，如：人行征信報告、百行征信報告、NCIIC等，相關**以封裝加密形式返回，返回的數(shù)據(jù)一般包括客戶的個人工作單位、婚姻、學歷、***開卡、還款情況等；②解析：解析有兩層功能含義，一是***返回的數(shù)據(jù)，二是將文本串信息進行標準化，使數(shù)據(jù)變成能夠在標準數(shù)據(jù)庫中存儲的形式；③征信數(shù)據(jù)庫：儲存解析好的征信數(shù)據(jù)。五、決策引擎系統(tǒng)它是一種基于特地業(yè)務場景開發(fā)的定制引擎，中間充當一個變量計算和決策判斷的功能，以“處理變量然后輸出變量”的方式將風控決策落地。泰州企業(yè)數(shù)據(jù)采集二次開發(fā)