在数据工程团队中 这个列表很长并且取决于您的个人角色。但我的一般选择是“最终数据科学家和数据分析师的糟糕 语句。 可能不是一个明显的答案，所以让我解释一下。 如果您正在使用数据仓库，让我们从数据工程团队的三个主要工作领域的角度来看一下： 构建 管道 将数据放入您的仓库 构建转换 连接/转换不同的数据集 公开数据供下游使用 报告、分析数据工程师还需要对元数据进行编目和组织，并定义从仓库写入和读取数据的流程。在某种程度上，他们是数据仓库的图书馆员。
变革的驱动因素
然后目标是尽可能地抽象和自动化。通过自动化，数据工程师可以将他们稀缺的时间用于构建而不是维护/修复。 您还可以通过将 添加到您提供的数据来向 沙特阿拉伯电报号码数据 业务做出承诺。“报告将在太平洋标准时间早上 6点之前完成”或“我们的分析环境仅比生产环境晚分钟。 瞧，您已经完成了上述所有操作，将其投入生产，稍作调整，一切都运行良好。您可以继续做其他事情。嗯不。 变革的驱动因素 事物不是静态的。
数据工程的挑战
如果您为一家正在成长的企业工作，那么您将必须应对三个挑战： 数据量在年内增长了约 倍，并且不断出现更多新型数据源 模型的数量正在增长。当您将更多数据引入仓库时，您可以以无限的新方式组合这些数据。您会听到术语（有向无环图）。 用户和工具的数量正在增长。随着业 電子郵帶領 务的增长，需要/想要访问数据的人数不断增加。他们希望使用自己选择的工具访问这些数据。 以下是 的示例，该示例来自一家风险投资的电子商务公司。 来自风险投资电子商务公司的示例。
没有回应