成都定制通軟件是專業(yè)從事計(jì)算機(jī)軟件開(kāi)發(fā)的高科技公司,為客戶定制開(kāi)發(fā)基于大數(shù)據(jù)的處理軟件、分析系統(tǒng)、預(yù)測(cè)系統(tǒng)。
我司可實(shí)現(xiàn)基于大數(shù)據(jù)存儲(chǔ)和管理,包括文件系統(tǒng)、數(shù)據(jù)庫(kù)和類似YARN的資源管理系統(tǒng);可實(shí)現(xiàn)計(jì)算處理層,如分布式并行處理架構(gòu)hadoop、MapReduce和Spark,以及在此之上的各種不同計(jì)算范式,如批處理、流處理和圖計(jì)算等,包括衍生出編程模型的計(jì)算模型,如BSP、GAS 等;可實(shí)現(xiàn)數(shù)據(jù)分析和可視化基于計(jì)算處理層。分析包括簡(jiǎn)單的查詢分析、流分析以及更復(fù)雜的分析(如機(jī)器學(xué)習(xí)、圖計(jì)算等)。查詢分析多基于表結(jié)構(gòu)和關(guān)系函數(shù),流分析基于數(shù)據(jù)、事件流以及簡(jiǎn)單的統(tǒng)計(jì)分析,而復(fù)雜分析則基于更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)與方法,如圖、矩陣、迭代計(jì)算和線性代數(shù)。
支持Hadoop 的核心組件HDFS、MapReduce、Hbase、Zookeeper、Oozie、Pig、Hive等核心組件構(gòu)成。支持批處理的HDFS 和MapReduce 組件,以及Apache旗下的多個(gè)開(kāi)源組件 Mesos、YARN、Mesos等,以及基于業(yè)務(wù)對(duì)實(shí)時(shí)的需求,支持在線處理的Storm,Storm被用于“連續(xù)計(jì)算”,對(duì)數(shù)據(jù)流做連續(xù)查詢,在計(jì)算時(shí)就將結(jié)果以流的形式輸出給用戶。Spark提供強(qiáng)大的內(nèi)存計(jì)算引擎,幾乎涵蓋了所有典型的大數(shù)據(jù)計(jì)算模式,包括迭代計(jì)算、批處理計(jì)算、內(nèi)存計(jì)算、流式計(jì)算(Spark Streaming)、數(shù)據(jù)查詢分析計(jì)算(Shark)以及圖計(jì)算(GraphX)。
支持4種大數(shù)據(jù)的采集源:管理信息系統(tǒng)、Web信息系統(tǒng)、物理信息系統(tǒng)、科學(xué)實(shí)驗(yàn)系統(tǒng)。支持oldSQL、NoSQL 與NewSQL 數(shù)據(jù)庫(kù)存儲(chǔ),支持存儲(chǔ)結(jié)構(gòu)化和非結(jié)構(gòu)化混合的大數(shù)據(jù),采用MPP 并行數(shù)據(jù)庫(kù)集群與Hadoop 集群的混合來(lái)實(shí)現(xiàn)對(duì)百PB 量級(jí)、EB量級(jí)數(shù)據(jù)的存儲(chǔ)和管理。支持大數(shù)據(jù)分析與可視化,對(duì)大數(shù)據(jù)的深度分析主要基于機(jī)器學(xué)習(xí)技術(shù)。可視化主要涉及數(shù)據(jù)流線化、任務(wù)并行化、管道并行化和數(shù)據(jù)并行化4 種基本技術(shù)。
聯(lián)系人董先生 微信 dongkn