#

数据开发

  • Giraph源码分析(四)—— Master 如何检查Worker启动成功

    本文的目的 说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步(不太确定)。 环境 在单机上(机器名:giraphx)启动了2个workers。 Giraph遵从单M

    作者:数澜
    2020-09-25 04:31:06
  • Giraph源码分析(一)— 启动ZooKeeper服务

    作者 | 白松 【注:本文为原创,引用转载需与博主联系。】 Giraph介绍: Apache Giraph is an iterative graph processing system built

    作者:数澜
    2020-07-21 08:39:41
  • Giraph源码分析(三)—— 消息通信

    由前文知道每个BSPServiceWorker有一个WorkerServer对象,WorkerServer对象里面又有ServerData对象,作为数据实。ServerData中包含该Worker的p

    作者:数澜
    2020-07-19 16:24:07
  • 关于接口测试——自动化框架的设计与实现

    一、自动化测试框架 在大部分测试人员眼中只要沾上“框架”,就感觉非常神秘,非常遥远。大家之所以觉得复杂,是因为落地运用起来很复杂;每个公司,每个业务及产品线的业务流程都不一样,所以就导致了“自动化测试

    作者:数澜
    2020-07-04 09:19:16
  • Mock工具wiremock-py

    作者 | 咪咪 wiremock-py wiremock-py 是基于 WireMock 实现的, 使用 Python 批量生成不同测试场景下不同HTTP API 的 mock 数据, 然后作为 mo

    作者:数澜
    2020-06-26 02:38:15
  • Giraph源码分析(二)—启动Master/Worker服务

    作者 | 白松 注:本文为原创,引用转载需与数澜联系。 1、org.apache.giraph.bsp.CentralizedService 接口 功能:Basic service interface

    作者:数澜
    2020-06-23 08:27:17
  • “数据治理那点事”系列之一:那些年我们一起踩过的坑

    大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大打折扣,甚至根本不可用不敢用,因此,数据治理是大数据时代我们用好

    作者:数澜
    2020-05-31 18:40:51
  • 浅析HDFS架构和设计

    作者 | 大尊 hdfs是hadoop的分布式文件系统,即Hadoop Distributed Filesystem。下面主要讲下HDFS设计中的比较重要的点,使读者能通过简短的文章一窥HDFS的全貌

    作者:数澜
    2020-05-28 00:59:46