TOC
开发环境
-
准备工作
- 宿主机（CentOS7、云厂 或 本地虚拟机+内网穿透）
- Xshell
- 域名
-
ECS购买与配置
- 安全组
- 22 ：Linux 远程登录 ECS（SSH默认22）
- 3389：Windows 远程登录 ECS
- 80 ：HTTP
- 443 ：HTTPS
- 安全组
-
域名购买
- 创建新的信息模板（管局审核）
- 备案（填写信息、人脸核验、云厂初审、短信核验、管局终审）
-
环境安装
- VMware安装
- VMware添加Centos镜像
- Centos安装
- Xshell连接
基础操作
-
Kafka介绍
- A distributed streaming platform
- Linkedin基于scala编写的，在大数据中对接spark、flink实时流处理平台
- 高并发、低延迟、大吞吐量、高可靠
- 基于zookeeper的分布式消息系统
-
Kafka安装
-
准备
yum install -y lrzsz //可代替ftp上传和下载的程序 rz //上传安装包 -
安装JDK（Scala基于JDK）
tar -zxvf xxx.tgz //解压 //配置环境变量 vi /etc/profile export JAVA_HOME=/xx/xx/jdk1.8.0_181 export PATH=$PATH:$JAVA_HOME/bin source /etc/profile java -version -
安装Zookeeper
tar -zxvf xxx.tgz //解压 //配置文件（生产环境改 dataDir） cd zookeeper/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg //启动 cd bin ./zkServer.sh start //进入客户端 ./zkCli.sh -
安装Kafka
tar -zxvf xxx.tgz //解压 //配置文件 cd kafka/config vi server.properties listeners=PLAINTEXT://192.XXXX:9092 advertised.listeners=PLAINTEXT://192.XXXX:9092 //生产环境改 log.dirs zookeeper.connect=192.XXXX:2181 //启动Kafka ./bin/kafka-server-start.sh config/server.properties & //停止Kafka bin/kafka-server-stop.sh
-
-
Kafka基本操作
//创建Topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-topic //查看已经创建的Topic信息 bin/kafka-topics.sh --list --zookeeper localhost:2181 //发送消息 bin/kafka-console-producer.sh --broker-list 192.168.26.132:9092 --topic test-topic //接收消息 bin/kafka-console-consumer.sh --bootstrap-server 192.168.26.132:9092 --topic test-topic --from-beginning
「真诚赞赏，手留余香」
WZhong
真诚赞赏，手留余香
使用微信扫描二维码完成支付
