·快速地整合和管理不同类型的大容量数据,对原生形式的信息采用高级分析。
·可视化所有可用数据,以便特殊分析。
·为构建新的分析应用程序提供开发环境。
·工作负荷的优化和调度。
项目背景:
电信运营商数据量庞大,客户采购okcoin数据服务作为数据存储和数据处理的软件,作为流量流速分析平台,部署到客户机房,帮助电信运营商快速完成对海量数据的处理和分析。
项目内容:
数据服务作为数据存储和处理软件,每日完成3000万条数据的存储。数据服务BI作为分析平台,完成流量流速统计、网间出口流量统计(分地市)、网间出口流量流向统计、网间出口流量的流向统计(分运营商分省)、网间出口流量业务量统计、网间出口流量的业务量统计(分地市)、业务TOPN流量排名、业务TOPN具体应用流量排名、热点域名TOPN排名、单IP流速TOPN排名等分析。
作为产品和平台提供商,数据服务科技提供了咨询和实施两种服务完成了数据治理和数据价值发掘工作。完成了从数据抽取(Extract)、清洗(Transform)、装载(Load)、建模(Modeling)、到探索式数据分析(Analysis)等等全方位、一体化工作,保证了项目的成功。
根据时间维度,网站汇总,进行用户的来源地区、来路域名和页面访问次数,停留时间,有效访问次数、跳出率、回访者、新访问者、回访次数、回访相隔天数等相关数据的统计。要能够动态添加条件,通过对用户行为监测获得的数据进行分析,更加详细、清楚地了解用户的行为习惯。
每天数据量几千万条,而不同网站客户的分析需求是各自不同的,灵活变化的多维度分析需求对分析性能提出了更高的挑战,传统的数据库以及Hadoop架构已经无法满足高性能的即时分析需求。
作为产品和平台提供商,数据服务科技提供了咨询和实施两种服务完成了数据治理和数据价值发掘工作。完成了从数据抽取(Extract)、清洗(Transform)、装载(Load)、建模(Modeling)、到探索式数据分析(Analysis)等一体化工作,保证了项目的成功,实现了从线下交付到线上交付的成功转变。
电信企业的需要主要是账务统计、收益情况分析、市场竞争分析、业务发展分析、客户分析、客户关系管理及市场侧率、网络基站分析、服务质量分析、营销管理分析、综合决策分析、绩效考核等。
客户在处理多维分析上遇到了难题,ROLAP分析的数据实时性高,功能扩展性好,非常灵活,但大数据性能差,很难支持交互式分析。MOLAP性能迅捷,但不能直接从数据库取数,因此业务数据的变化不能迅速反应到MOLAP中,无法做到实时分析数据。总之无论是采用ROLAP还是MOLAP都有他们各自无法避免的缺点。
客户的各级部门提出BI应用的需求,各级部门自己操作完成整个系统的部署、开发和后期维护。因此客户在选择BI工具时,需要考虑哪一款BI工具容易上手,开发简单。这样他们的工作人员可以迅速掌握使用,无需BI厂商提供长时间的技术支持。而且客户部署之后需求肯定会变化,如果自己工作人员可以完全掌握工具的话可以迅速应对。