自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

日有寸进

世上只有一种英雄主义,就是在认清生活真相之后依然热爱生活。

原创 Redis 哨兵机制

Redis 哨兵机制部署建议配置启动高可用原理三个任务主/客观下线领导者哨兵选举流程故障转移机制流程 部署建议 a,sentinel节点应部署在多台物理机 b,至少三个且奇数个sentinel节点 c,监听一个主节点 配置 在主从配置的基础上,进行配置。 每个 redis 都有一个自...

2019-11-30 23:10:31 80 0

原创 Redis 主从模式

Redis 主从模式配置启动结构一主一从一主多从树状主从复制原理数据同步机制 配置 只用配置 slave 的 redis.conf,master 的配置不用改 配置 master 的 ip 和 port 配置 master 的密码 直接在客户端里也可以改: 当然,...

2019-11-30 13:17:26 88 0

原创 Redis 与 Lua

将 Lua 脚本内容加载到 redis, 得到返回的 sha1 值 ./redis-cli -a 12345678 script load "$(cat ipCount.lua)" 检查 sha1 值的 Lua 脚本是否加载到 redis 中 scr...

2019-11-29 21:28:23 42 0

原创 Redis 的持久化

Redis 的持久化RDB相关操作优点缺点AOF流程redis.conf 配置 Redis 支持RDB和AOF两种持久化机制,持久化可以避免因进程退出而造成数据丢失 RDB RDB持久化把当前进程数据生成快照(.rdb)文件保存到硬盘的过程,有手动触发和自动触发。 手动触发有 save 和...

2019-11-23 21:03:33 44 0

原创 Redis 基础汇总

Redis 基础介绍特性使用场景重要指令 介绍 redis 是一种基于键值对(key-value)数据库,其中value可以为string、hash、list、set、zset,可以满足很多应用场景。 还提供了键过期,发布订阅,事务,流水线等附加功能。 流水线:Redis的流水线功能允许客...

2019-11-22 20:18:16 103 0

原创 Kafka 中集群的成员关系

Kafka 高级

2019-11-21 11:43:58 167 0

原创 Kafka 的物理存储机制

Kafka 的物理存储机制物理存储机制分区分配文件管理文件格式索引超时数据的清理机制 物理存储机制 Kafka的基本存储单元是分区。分区无法在多个broker间进行再细分,也无法在同一个broker的多个磁盘上进行再细分。 在配置Kafka的时候,管理员指定了一个用于存储分区的目录清单——也就是l...

2019-11-21 11:40:29 157 0

原创 Kafka 里的重要功能——复制

Kafka 里的重要功能——复制复制replication-factor副本类型首领副本跟随副本优先副本工作机制处理请求的内部机制生产请求获取请求ISR使用ISR的原因ISR相关配置 复制 复制功能是 Kafka 架构的核心。在 Kafka 的文档里,Kafka 把自己描述成“一个分布式的、可...

2019-11-21 10:46:47 192 0

原创 Linux 下 redis 安装

检查依赖 yum install cpp -y yum install binutils -y yum install glibc-kernheaders -y yum install glibc-common -y yum install glibc-devel -...

2019-11-20 09:48:50 54 0

原创 删除 Kafka 主题需要注意的事

server.properties 设置 delete.topic.enable=true 确保该 topic 没有被用到。 使用 kafka/bin 目录下的命令行工具预删除: ./bin/kafka-topics --delete --zookeeper 【server:port】 -...

2019-11-16 21:19:00 55 0

原创 Kafka Java客户端里的消费者

Kafka Java客户端里的消费者生产消费流程基础概念消费者群组订阅拉取提交和偏移量核心概念多线程安全问题群组协调分区再均衡 生产消费流程 基础概念 消费者群组 多个消费者可以组成消费者群组,一个群组里的消费者订阅的都是同一个主题,每个消费者接收主题某个分区的消息。 往消费者群...

2019-11-15 09:59:35 131 0

原创 Kafka 再均衡监听器示例

Kafka 再均衡监听器示例依赖介绍代码生产者生产任务消费者消费任务再均衡监听器结果生产者消费者启动生产者之前启动生产者后,第三线程关闭之前第三线程关闭后,分区再平衡分区再平衡之后 依赖 <dependency> <groupId>org.apache.kaf...

2019-11-15 09:07:24 528 0

原创 Kafka Java客户端里的生产者

Kafka Java 客户端里的生产者生产者发送消息的基本流程使用Kafka生产者三种发送方式发送并忘记同步发送异步发送多线程生产常用配置顺序保证自定义分区器 如果不了解Kafka的Java 客户端,可以先看看示例 Kafka Java 客户端入门示例 生产者发送消息的基本流程 从创...

2019-11-12 21:44:25 74 0

原创 Kafka 多线程生产与消费示例

Kafka 多线程生产与消费示例依赖用到的 VO生产者消费者结果生产者消费者 依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clie...

2019-11-12 20:45:29 509 3

原创 Kafka Java客户端入门示例

Kafka Java 客户端入门示例生产者消费者结果生产者消费者 生产者 import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerReco...

2019-11-12 09:38:58 99 0

原创 Kafka 的 Java 客户端 consumer 收不到消息

server.properties 里 broker.id=0 listeners=PLAINTEXT://192.168.100.14:9092 advertised.listeners=PLAINTEXT://192.168.100.14:9092 zookeeper.connect=...

2019-11-11 10:22:45 576 0

原创 Kafka 集群的安装、配置和常用指令

配置 zookeeper Kafka 运行依赖 zookeeper:zookeeper 集群配置 下载解压 地址 选择:kafka_2.11-2.3.0.tgz 更改配置 分别更改三台机器上的 config/server.properties 其中,broker.id 需要更改,其它...

2019-11-11 10:16:54 167 0

原创 Kafka 基本概念、使用场景、硬件配置

目录 基本概念 消息和批次 主题和分区 生产者和消费者、偏移量、消费者群组 Broker 和集群 保留消息 为什么选择Kafka 优点 常见场景 硬件配置对Kafka 性能的影响 磁盘吞吐量/磁盘容量 内存 网络 如何估算Kafka 集群中Broker的数量 Br...

2019-11-10 20:22:47 652 0

原创 分布式锁与 MySQL/Redis/Zookeeper 实现方案

分布式锁与 MySQL/Zookeeper 方案问题来源解决思路方案比较模板方法模式MySQL 方案Zookeeper 方案方案一方案二 问题来源 在一个 JVM 里我们要用锁,可以用 synchronized 和 Lock。如果是在多个 JVM 里,该怎么办呢? 解决思路 MySQL 里...

2019-11-07 20:49:29 158 0

原创 zookeeper 相关协议、集群特点

zookeeper 高级一致性协议两阶段提交 two-phase commit (2PC)三阶段提交 three-phase commit (3PC)Paxos 算法集群解析集群特点集群中的角色集群一致性协议 ZAB 解析总览消息广播崩溃恢复背景(什么情况下会崩溃恢复)最终目的(恢复成什么样) ...

2019-11-06 21:23:34 74 0

提示
确定要删除当前文章?
取消 删除