「数仓项目」 数据仓库工程师有前途吗

数仓项目： 数据仓库工程师有前途吗

这几个职位都是跟数据有关的工作。BI 是商业智能，职位包括etl，数据仓库，数据展示工作。数据仓库，是按设定好的一种数据库模型ETL，负责清洗原始数据的一个过程，清洗完之后将数据加载至数据仓库。大数据开发，数据量较大，上千万乃至亿级的数据...

其他答案:＂数据仓库工程师＂ 的概念比较笼统， 先解释＂数据仓库＂ 吧， 顾名思义是近乎企业所有业务系统数据的集合体， 用于分析与决策支持. 而做与数据仓库的建设/维护项目相关的工作， 均可以称之为＂数据仓库工程师＂ 常见的两类＂数据仓库工程师＂ ： etl工程师： 主要负责数据从业务系统（数据源） 抽取/转换/加载 到数据仓库的实现 报表工程师： 主要负责数据从仓库到前台报表的展现

数仓项目： 请人构架数据仓库一般花费多少？在块数据上面。

请人构架数据仓库一般花费多少？虑到了聚合粒度差异和数据缓冲），小项目一层就够了。目前数据仓

其他答案:额

数仓项目： 什么是系统的逻辑模型？什么是系统的物理模型

以实物或画图形式直观的表达认识对象的特征在数据仓库项目中，物理模型设计和业务模型设计象两个轮子一样有力地支撑着数据仓库的实施，两者并行不悖，缺一不可。实际上，这有意地扩大了物理模型和业务模型的内涵和外延，因为，在这里物理模型不仅仅...展开全部

数仓项目： 数据仓库工程师是什么-百度知道

展开全部 ＂数据仓库工程师＂ 的概念比较笼统， 先解释＂数据仓库＂ 吧， 顾名思义是近乎企业所有业务系统数据的集合体， 用于分析与决策支持. 而做与数据仓库的建设/维护项目相关的工作， 均可以称之为＂数据仓库工程师＂常见的两类＂数据仓库工程...

数仓项目：实时数据仓库如何做？

谢邀。

想要知道实时数据仓库怎么做，我们首先得知道，为什么要用实时数据仓库，也就是说我们得明白公司也好，企业也罢，他们要求我们做实时数据仓库的价值何在？

目前的数据仓库大都是T+1离线分析数据，即运营人员今天看昨天的数据报表，当客户为店铺或者商品做活动并且想看当前的活动效果就只能等到明天来查看数据。而阿里每年的双11，几分钟完成上亿的交易量，他们更想知道的是双11这个活动带来的实际效益，当前最新的订单量、销售额等。

实时数据仓库该怎么做？

1.随着大家对数据及时性的要求越来越高，实时计算应景产生。常见的开源实时计算框架有storm、s4、spark等。使用过storm开发过实时需求的小伙伴都知道，storm对于单数据流的处理无论是开发难度或者处理执行效率都相当不错，即使有好多同样的任务跑也可以应付。

2.实时通用宽表也常被用在实时需求中，大量的实时需求将在通用层得以计算实现。一般的做法就是ODS----明细表---通用宽表---汇总表---应用层。

3.另外实时数据仓库相比较离线数仓，实时性要求更高，因此在做实时数据仓库时应注意缩短数据流，简化数据层次，将ods和明细表合并等。

4.一定要与客户沟通好。一定要明确客户对我们实时数据仓库的实时性要求级别。客户能忍受的延迟是分钟级还是秒级等。

5.数据库最忌讳数据不一致的情况。实时数据仓库也不例外，要是打算做实时数据仓库，一定要保证数据的准确一致性，不能丢数据，也不能出现脏数据的情况，宁可多存一些，也不要漏数据，出现数据丢失的被动局面。

6.实时数据仓库一定要保证易用性

对于实时数据的增、删、改，要使得下层使用这个宽表时简单易用，方便调用与查询，不然实时的意义何在？

以上就是我对做实时数据仓库的一些方法和注意事项，希望能够帮到你^_^

数仓项目：如何选择正确的数据集成工具？

在选择数据集成工具前，先要了解自身企业现有的应用系统的业务逻辑，要知道都有哪些系统、哪些数据、哪些要集成。大多数人认为数据集成就是将各系统数据整合到一处，这里很容易忽略一点，就是数据的准确性、唯一性和权威性。想要数据集成就先要进行数据治理，如果数据源头都不准确，是脏数据，那将数据集成起来也就大打折扣了。

所以说对于选择数据集成工具时，最好选用可以先治理数据后集成数据的工具，保证数据集成赢在起跑线。而现在大多数数据集成工具，都停留在只集不治的状态，所以需要我们企业从实际情况出发，合理选择数据集成工具。通常来说应用系统之间集成选用ESB、流程数据集成选BPM、数仓项目建设选择ETL工具如Kettle，主数据治理项目选择MDM产品、跨网络数据传输选择DXP数据交换平台、数据分析项目选择DAP数据分析平台、大数据项目数据集成选择Sqoop、FlumeNG等。

在综合数据治理分析项目过程中要强调数据质量、多端展现(手机、PC、大屏)、数据挖掘预测，数通畅联推荐MDM+DBP+DAP三款产品组合,MDM实现基础数据的治理，保障数据源头的质量；DBP数据总线平台实现数据数据分发同步、数据交换传输、大数据的ETL处理；DAP数据分析平台实现元数据管理、数据调度监控、数据分析可视化，预制各种算法库、以数据超市方式提供各种OpenAPI供业务系统使用，三个产品组合相互协作实现数据跟业务的深度融合，真正实现数据的价值。

数仓项目：发电公司如何构建自己的数据仓库？

这问题有点专业哇，火电、水电、核电还都有区分，火电毕竟不算太环保，核电咱也讲不清楚，挑个简单的水电来说吧！

说到大数据，很多都觉得数据应该用有5V特性（我就不赘述了，大家可以直接问度娘），为了描述简单一点我梳理一下数据有哪些：

1.水电运行设备状态数据，结构化；

2.运维检修数据，结构化/半结构化；

3.设备/配件，出入库数据，结构化；

4.产、耗能数据，结构化；

5.引入设备运行外部指标，声音，图像等，非结构化数据

6.其他数据

设定大数据计算亟待解决什么问题

1.产，耗均能比

2.设备、零件、管缆故障分析

3.检修机制

4.设备、零部件负载阀值

5.建立故障处置预案库

6.我说我没想好会不会被打-_-||，大数据是可以碰撞出一些本来没有预设的东西。

好了，汇聚数据要解决以下问题

1.结构化数据入数据库（数据仓库也行）

说话简单，做起来不简单哇，清洗数据工作带来的是不仅仅是IT层面，往往还需要修改配套的业务流程及实际习惯；

2.非结构化数据汇聚存放

生命周期管理（自补，问度娘吧），有问设备都更换了是不是就可以删除这些数据了呢，其实不然，新老对比还是需要这些数据的，那么换新设备，是不是就可以完结它的生命周期了呢，其实还可以看看新老设备故障对比，更换零部件成本对比……所以数据作为重要的生产资料其实留着还是挺好的！（我不是存储产商哇），可以做数据的冷热分级存储。

3.数据采集和汇聚的管道

采集得想想办法，不同设备老化故障都有一定的采集方法（连沥青、混凝土都可以加入监测粒子了呢）。汇聚传输通道建议还是走互联网吧，不过建议可以走特殊封装，如sm3非对称加密，sm请自行脑补吧。

另外需要水文资料可以向水利申请，他们有遥测数据（( ??? ? ??? )别问我遥测，也别问我为啥知道）；气象也有数据可以申请的。不过估计这些数据要么走专网，要么就只能拷硬盘了（光盘是放不下的）

接下去选着一个大数据的平台和合适的算法，碰撞吧，小宇宙……串台词了

关于耗能解释一下，一般发电机组发动起来就不停的，停下来要再开就需要一定时间的预热，所以有些水电在枯水季的非用电高峰，会在下游抽水回来发电，这个耗能是大头！！！所以晚上电才会有半价哟。

服务器最好搭建集群组来计算，数据库呢最好能有分级高性能存储支撑！

小编问了难题还是要支持一下，说的不对大家见谅！