# java-internet **Repository Path**: neo00liu/java-internet ## Basic Information - **Project Name**: java-internet - **Description**: No description available - **Primary Language**: Java - **License**: Apache-2.0 - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2021-11-10 - **Last Updated**: 2022-03-04 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # java-internet - [中间件](#中间件) - [web应用服务器tomcat](#web应用服务器tomcat) - [高性能key-value数据库redis](#高性能key-value数据库redis) - [rpc-dubbo](#rpc-dubbo) - [netty](#netty) - [网关](#网关) - [数据库](#数据库) - [MySQL](#MySQL) - [消息队列](#消息队列) - [搜索引擎](#搜索引擎) - [分布式](#分布式) - [沟通](#沟通) ## 中间件 ### web应用服务器tomcat ### 高性能key-value数据库redis - [Redis核心技术与实现](https://qiankunli.github.io/2020/08/04/redis_practice.html) - 数据类型 ![输入图片说明](img/f055d111fc44d5317dbd4b53f3a7b355.png) - redis单线程 - Redis 的单线程主要是指 Redis 的网络 IO 和键值对读写是由一个线程来完成的，这也是 Redis 对外提供键值存储服务的主要流程。但 Redis 的其他功能，比如持久化、异步删除、集群数据同步等，其实是由额外的线程执行的。 - redis单线程为什么还能这么快？ - 它所有的数据都在内存中，所有的运算都是内存级别的运算，而且单线程避免了多线程的切换性能损耗问题。因为 Redis 是单线程，所以要小心使用 Redis 指令，对于那些耗时的指令(比如 keys)，一定要谨慎使用，一不小心就可能会导致 Redis 卡顿。 - Redis完全基于内存，绝大部分请求是纯粹的内存操作，非常迅速，数据存在内存中。 - 数据结构简单，对数据操作也简单。 - 采用单线程，避免了不必要的上下文切换和竞争条件，不存在多线程导致的CPU切换，不用去考虑各种锁的问题，不存在加锁释放锁操作，没有死锁问题导致的性能消耗。 - 使用多路复用IO模型，非阻塞IO。 - Redis 单线程如何处理那么多的并发客户端连接？ - Redis的IO多路复用：redis利用epoll来实现IO多路复用，将连接信息和事件放到队列中，依次放到 文件事件分派器，事件分派器将事件分发给事件处理器。 ![输入图片说明](img/00c36c82f4a370a57366b570b6d21801.png) - [在项目中缓存是如何使用的？缓存如果使用不当会造成什么后果？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/why-cache.md#/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/redis-consistence.md) - 特点：高性能、高并发 - 不良后果： - 缓存与数据库双写不一致 - 缓存雪崩、缓存穿透 - 缓存并发竞争 - [Redis 和 Memcached 有什么区别？Redis 的线程模型是什么？为什么单线程的 Redis 比多线程的 Memcached 效率要高得多？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/redis-single-thread-model.md) - 核心是基于非阻塞的 IO 多路复用机制。 ![输入图片说明](https://gitee.com/neo00liu/Java-Interview-Advanced/raw/master/images/redis-single-thread-model.png "在这里输入图片标题") - [Redis 都有哪些数据类型？分别在哪些场景下使用比较合适？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/redis-data-types.md) - [Redis 的过期策略都有哪些？手写一下 LRU 代码实现？](/docs/high-concurrency/redis-expiration-policies-and-lru.md) - 定期删除+惰性删除 - 内存淘汰机制 - allkeys-lru：当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的 key（这个是最常用的） - [如何保证 Redis 高并发、高可用？Redis 的主从复制原理能介绍一下么？Redis 的哨兵原理能介绍一下么？](/docs/high-concurrency/how-to-ensure-high-concurrency-and-high-availability-of-redis.md) - redis 主从架构 - redis 基于哨兵实现高可用 - [Redis 的持久化有哪几种方式？不同的持久化机制都有什么优缺点？持久化机制具体底层是如何实现的？](/docs/high-concurrency/redis-persistence.md) - RDB：RDB 持久化机制，是对 redis 中的数据执行周期性的持久化。 - AOF：AOF 机制对每条写入命令作为日志，以 append-only 的模式写入一个日志文件中，在 redis 重启的时候，可以通过回放 AOF 日志中的写入指令来重新构建整个数据集。 - **[Redis 集群模式的工作原理能说一下么？在集群模式下，Redis 的 key 是如何寻址的？分布式寻址都有哪些算法？了解一致性 hash 算法吗？如何动态增加和删除一个节点？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/redis-cluster.md)** - [了解什么是 redis 的雪崩、穿透和击穿？Redis 崩溃之后会怎么样？系统该如何应对这种情况？如何处理 Redis 的穿透？](/docs/high-concurrency/redis-caching-avalanche-and-caching-penetration.md) - 缓存雪崩处理： - 事前：redis 高可用，主从+哨兵，redis cluster，避免全盘崩溃。 - 事中：本地 ehcache 缓存 + hystrix 限流&降级，避免 MySQL 被打死。 - 事后：redis 持久化，一旦重启，自动从磁盘上加载数据，快速恢复缓存数据。 ![输入图片说明](https://gitee.com/neo00liu/Java-Interview-Advanced/raw/master/images/redis-caching-avalanche-solution.png "在这里输入图片标题") - [如何保证缓存与数据库的双写一致性？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/redis-consistence.md) - 最经典的缓存+数据库读写的模式，就是 Cache Aside Pattern - [Redis 的并发竞争问题是什么？如何解决这个问题？了解 Redis 事务的 CAS 方案吗？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/redis-cas.md) - [生产环境中的 Redis 是怎么部署的？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/redis-production-environment.md) ### rpc-dubbo - [Dubbo 泛化引用如何使用](https://mp.weixin.qq.com/s?__biz=MzA3NDgzODYzNg==&mid=2247494813&idx=1&sn=7d59d99d4ab8b14257e101d30542a501&chksm=9f7b0b9ea80c82883d2f6d28acb6932809f1535f85a678fedfc2bf260c8e47c50a7f298dad81&mpshare=1&scene=23&srcid=0510HC7Hn4tumX9J1N0yz6or&sharer_sharetime=1620605629021&sharer_shareid=a7d4da8a1d4f61cc19c2733fa41c7b37#rd) - [如何设计一个高并发系统？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/high-concurrency-design.md) - 系统拆分 - 缓存 - MQ - 分库分表 - 读写分离 - ElasticSearch - **[说一下 Dubbo 的工作原理？注册中心挂了可以继续通信吗？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/distributed-system/dubbo-operating-principle.md)** https://www.bilibili.com/video/BV1W4411z78P/ ![输入图片说明](https://gitee.com/neo00liu/Java-Interview-Advanced/raw/master/images/dubbo-operating-principle.png "在这里输入图片标题") - [Dubbo 支持哪些序列化协议？说一下 Hessian 的数据结构？PB 知道吗？为什么 PB 的效率是最高的？](/docs/distributed-system/dubbo-serialization-protocol.md) - [Dubbo 负载均衡策略和集群容错策略都有哪些？动态代理策略呢？](/docs/distributed-system/dubbo-load-balancing.md) - [Dubbo 的 spi 思想是什么？](/docs/distributed-system/dubbo-spi.md) - [如何基于 Dubbo 进行服务治理、服务降级、失败重试以及超时重试？](/docs/distributed-system/dubbo-service-management.md) - [分布式服务接口的幂等性如何设计（比如不能重复扣款）？](/docs/distributed-system/distributed-system-idempotency.md) - [分布式服务接口请求的顺序性如何保证？](/docs/distributed-system/distributed-system-request-sequence.md) - [如何自己设计一个类似 Dubbo 的 RPC 框架？](/docs/distributed-system/dubbo-rpc-design.md)[手写rpc代码下载!](https://github.com/shishan100/Java-Interview-Advanced/raw/master/docs/distributed-system/code/rpc-demo.zip) - [为什么要进行系统拆分？如何进行系统拆分？拆分后不用 Dubbo 可以吗？](/docs/distributed-system/why-dubbo.md) ### netty - [画出netty原理图] ### 网关 - [怎么实现网关对服务的动态路由？] - [基于netty的网关设计？] - [基于网关实现灰度发布，实现方案？](https://github.com/shishan100/Java-Interview-Advanced/blob/master/docs/distributed-system/gray-environment.md) ## 数据库 - [为什么要分库分表（设计高并发系统的时候，数据库层面该如何设计）？用过哪些分库分表中间件？不同的分库分表中间件都有什么优点和缺点？你们具体是如何对数据库如何进行垂直拆分或水平拆分的？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/database-shard.md) | # | 分库分表前 | 分库分表后 | |---|---|---| | 并发支撑情况 | MySQL 单机部署，扛不住高并发 | MySQL从单机到多机，能承受的并发增加了多倍 | | 磁盘使用情况 | MySQL 单机磁盘容量几乎撑满 | 拆分为多个库，数据库服务器磁盘使用率大大降低 | | SQL 执行性能 | 单表数据量太大，SQL 越跑越慢 | 单表数据量减少，SQL 执行效率明显提升 | - 分库分表的方式 - range - hash - [现在有一个未分库分表的系统，未来要分库分表，如何设计才可以让系统从未分库分表动态切换到分库分表上？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/database-shard-method.md) - 双写迁移方案 ![输入图片说明](https://gitee.com/neo00liu/Java-Interview-Advanced/raw/master/images/database-shard-method-2.png "在这里输入图片标题") - [如何设计可以动态扩容缩容的分库分表方案？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/database-shard-dynamic-expand.md) - [分库分表之后，id 主键如何处理？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/database-shard-global-id-generate.md) - snowflake 算法 ### MySQL - [介绍下索引](https://mmbiz.qpic.cn/mmbiz_png/TNUwKhV0JpTDcua6Infg8X2eYFTuEhhEw9zswrBIUVAxDx8sLDOpxCAWox8Iicp2WfQiciaHP3WuKNghg4Sowr79g/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1) ![输入图片说明](https://mmbiz.qpic.cn/mmbiz_png/TNUwKhV0JpTDcua6Infg8X2eYFTuEhhEw9zswrBIUVAxDx8sLDOpxCAWox8Iicp2WfQiciaHP3WuKNghg4Sowr79g/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1 "在这里输入图片标题") - [如何实现 MySQL 的读写分离？MySQL 主从复制原理是啥？如何解决 MySQL 主从同步的延时问题？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/mysql-read-write-separation.md) ## 消息队列 - [为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点？](https://gitee.com/shishan100/Java-Interview-Advanced/blob/master/docs/high-concurrency/why-mq.md) - 好处：解耦、异步、削峰 - 缺点：系统可用性降低、系统复杂度提高、一致性问题 - [如何保证消息队列的高可用？](https://gitee.com/shishan100/Java-Interview-Advanced/blob/master/docs/high-concurrency/how-to-ensure-high-availability-of-message-queues.md) - RabbitMQ 镜像集群模式 - Kafka 0.8 以后，提供了 HA 机制， replica（复制品） 副本机制 - [如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？](https://gitee.com/shishan100/Java-Interview-Advanced/blob/master/docs/high-concurrency/how-to-ensure-that-messages-are-not-repeatedly-consumed.md) - offset - [如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/how-to-ensure-the-reliable-transmission-of-messages.md) - 生产者丢数据： - 开启 RabbitMQ 事务channel.txSelect；同步 - 开启 confirm 模式；异步； 大部分选择该方式 - RabbitMQ 弄丢数据 - 开启 RabbitMQ 的持久化 - 设置持久化有两个步骤 - 消费端弄丢了数据 - 关闭RabbitMQ自动ack 机制 - [如何保证消息的顺序性？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/how-to-ensure-the-order-of-messages.md) - RabbitMQ 拆分多个 queue，每个 queue 一个 consumer; 或者 一个 queue 但是对应一个 consumer，然后这个 consumer 内部用内存队列做排队，然后分发给底层不同的 worker 来处理； - Kafka 写 N 个内存 queue，具有相同 key 的数据都到同一个内存 queue；然后对于 N 个线程，每个线程分别消费一个内存 queue 即可； - [有几百万消息持续积压几小时，说说怎么解决](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/mq-time-delay-and-expired-failure.md) - 临时紧急扩容 - [如果让你写一个消息队列，该如何进行架构设计？] ## 搜索引擎 - [lucene 和 es 的前世今生](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/es-introduction.md) - [es 的分布式架构原理能说一下么（es 是如何实现分布式的啊）？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/es-architecture.md) - [es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/es-write-query-search.md) - [es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/es-optimizing-query-performance.md) - 数据自动缓存到 filesystem cache ![输入图片说明](https://gitee.com/neo00liu/Java-Interview-Advanced/raw/master/images/es-search-process.png "在这里输入图片标题") - 数据预热 - 冷热分离 - 分页性能优化 - scroll api - search_after - [es 生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/high-concurrency/es-production-cluster.md) ## 分布式 - [使用 Redis 如何设计分布式锁？使用 Zookeeper 来设计分布式锁可以吗？以上两种分布式锁的实现方式哪种效率比较高？](https://gitee.com/neo00liu/Java-Interview-Advanced/blob/master/docs/distributed-system/distributed-lock-redis-vs-zookeeper.md) ## 沟通 - [王敏：人人都用得上的51个沟通术](https://study.163.com/course/introduction/1210176016.htm) 或喜马拉雅上观看