Cheney.Yin的博客 | Cheney Blog

Linux文本处理

整理Linux文本处理脚本

Linux文本处理多行连接 1 2 3 4 5 6 7 8 > for e in `seq 1 7`; do echo $e; done 1 2 3 4 5 6 7 使用sed正序连接 1 2 > for e in `seq 1 7`; do echo $e; done | sed -n '1...

Posted by Cheney.Yin on November 3, 2024

Kerberos

介绍Kerberos相关概念，SSH免密登录案例。

1 主要概念 realm：区域，类似与命名空间。 Principal：即认证主体。通俗的可以理解为用户名。一个Principal会被定义一个realm中，该principal在其它realm中没有意义。 Principal通常包括三个部分，分别为primary、instance、realm。例如，可以定义一个realm为EXAMPLE.COM，在这个realm里定义一个princ...

Posted by Cheney.Yin on April 11, 2023

编写健壮Shell脚本的技巧

汇总了一些有助于提供shell脚本健壮性的技巧。

一些Shell脚本编写技巧 set -o errexit 命令set -o errexit可以简化为set -e。其作用是在脚本出现错误时，退出执行。（默认并不退出）未使用配置 1 2 3 4 #!/bin/bash # foo为不存在的命令 foo echo 'bar' 输出， 1 2 ./errexit.sh: line 4: foo: command not found bar...

Posted by Cheney.Yin on March 28, 2023

Distribute Pipeline EX

一种分布式交互管道设计

Pipeline EX 概览图1 PipelineEX概况

Posted by Cheney.Yin on March 17, 2023

Metal

介绍自研项目Metal的设计思路和效果

Metal是我个人独立开发的一个项目，目前已经达成了演示版本的目标。不过仍然有些许问题要解决。本项目后续也将开放源代码。 What is Metal? Metal是一款数据流建模软件，通过Metal可以管理数据流处理算子、可视化建模、批处理任务执行。 What Metal can do for you? 如果你经常使用Spark SQL开发ETL Pipeline，积累了大量...

Posted by Cheney.Yin on February 15, 2023

Spark Standalone集群隐藏的REST API

介绍如何使用Spark Standalone隐藏的REST API

Spark Standalone集群隐藏的REST API 配置在spark-defaults.conf中配置， 1 spark.master.rest.enabled true API 提交使用/v1/submissions/create去提交任务， curl -X POST http://master-0.spark.node:6066/v1/submissions/...

Posted by Cheney.Yin on September 6, 2022

Spark Standalone集群启动配置

介绍Spark Standalone集群启动的常用配置项目

Spark Standalone集群启动配置配置项含义 -h HOST, --host HOST 监听Host Name -p PORT,--port PORT 监听端口（默认：Master使用7077，worker随机设置端口） ...

Posted by Cheney.Yin on August 29, 2022

Vert.x core 3 --- Event Bus

介绍Event Bus相关概念和使用

Event Bus Event Bus构建了一个跨越多个服务器节点和多个浏览器的分布式点对点消息系统。 Event Bus支持发布/订阅、点对点、请求-响应的消息传递方式。 Event Bus的API很简单。基本只涉及注册/注销handler、发布和发送消息。基本概念寻址消息的发送目标称为地址。Vert.x的地址是简单的字符串，任何字符串...

Posted by Cheney.Yin on August 7, 2022

Vert.x core 2 --- Verticles

介绍Verticles的相关概念和使用

Verticles Vert.x提供的Verticles是一种简单便捷、可扩展的、类似Actor Model(非严格Actor Model)的部署和并发模型机制。 Verticle是可选的，不强制使用这种方式创建应用程序。编写Verticle Verticle的实现类必须实现Verticle接口。但通常直接从抽象类AbstractVerticle继承更简单。 1 2 3 4 5 ...

Posted by Cheney.Yin on August 5, 2022

Vert.x core 1 --- Fluent API

介绍Vert.x流式Api的概念和使用

流式(Fluent)API 1 2 3 request.response() .putHeader("Content-Type", "text/plain") .end("Some Text"); 一个流式 API 表示将多个方法的调用链接在一起。这是 Vert.x API 的通用模式。 Don’t call us, we’ll call you. Vert.x...

Posted by Cheney.Yin on August 1, 2022

Cheney.Yin Blog