发布&订阅的消息系统 Kafka的深度解析

2015-12-29 diaba Kafka

发布&订阅的消息系统 Kafka的深度解析 2015-01-27 10:25 Jason Guo Jason Guo的博客 字号:T | T 一个典型的kafka集群中包含若干producer(可以是web前端产生的page view,或者是服务器日志,系统CPU、memory等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干consumer group,以及一个Zookeeper集群。Kafka通过Zookee...

阅读全文>>

标签: kafka

评论(0) 浏览(2228)

Kafka各个组件介绍

2015-12-29 diaba Kafka

Kafka组件介绍 Broker     Kafka集群包含一个或多个服务器,这种服务器被称为broker Topic     每条发布到Kafka集群的消息都有一个类别,这个类别被称为topic。(物理上不同topic的消息分开存储,逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处) Partition  &nbs...

阅读全文>>

标签: kafka

评论(0) 浏览(2057)

JVM服务参数调优实战

2015-12-27 diaba JVM

大型网站服务器案例 承受海量访问的动态Web应用 服务器配置:8 core CPU, 8G MEM, JDK 1.6.X 参数方案: -server -Xmx3550m -Xms3550m -Xmn1256m -Xss128k -XX:SurvivorRatio=6 -XX:MaxPermSize=256m -XX:ParallelGCThreads=8 -XX:MaxTenuringThreshold=0 -XX:+UseConcMarkSweepGC 调优说明: -Xmx&...

阅读全文>>

标签: jvm

评论(0) 浏览(2470)

垃圾回收器选择及jvm参数介绍

2015-12-27 diaba JVM

垃圾回收器选择 JVM给出了3种选择:串行收集器、并行收集器、并发收集器。串行收集器只适用于小数据量的情况,所以生产环境的选择主要是并行收集器和并发收集器。 默认情况下JDK5.0以前都是使用串行收集器,如果想使用其他收集器需要在启动时加入相应参数。JDK5.0以后,JVM会根据当前系统配置进行智能判断。 串行收集器 -XX:+UseSerialGC:设置串行收集器。 并行收集器(吞吐量优先) -XX:+UseParallelGC:设置为并行收集器。此配置仅对年轻代有效。即年轻代使用并行收集,而年老代...

阅读全文>>

标签: gc

评论(0) 浏览(1929)

JVM参数说明

2015-12-27 diaba JVM

-Xmx3550m:设置JVM最大堆内存为3550M。 -Xms3550m:设置JVM初始堆内存为3550M。此值可以设置与-Xmx相同,以避免每次垃圾回收完成后JVM重新分配内存。 -Xss128k:设置每个线程的栈大小。JDK5.0以后每个线程栈大小为1M,之前每个线程栈大小为256K。应当根据应用的线程所需内存大小进行调整。在相同物理内存下,减小这个值能生成更多的线程。但是操作系统对一个进程内的线程数还是有限制的,不能无限生成,经验值在3000~5000左右。需要注意的是:当这个值被设置的较大(例如>2MB)时将会在很大程度上降低系统的性能。 ...

阅读全文>>

标签: jvm参数

评论(0) 浏览(2330)

并行与并发的概念

2015-12-27 diaba 多线程

并行:同一时刻,同时发生    类似网络带宽概念 并发:同一时间间隔内发生    类似网络吞吐量概念

阅读全文>>

标签: 并发 并行

评论(0) 浏览(1818)

【转】Java 如何有效地避免OOM:善于利用软引用和弱引用

2015-12-24 diaba JVM

想必很多朋友对OOM(OutOfMemory)这个错误不会陌生,而当遇到这种错误如何有效地解决这个问题呢?今天我们就来说一下如何利用软引用和弱引用来有效地解决程序中出现的OOM问题。下面是本文的目录大纲: 一.了解 强引用、软引用、弱引用、虚引用的概念 二.进一步理解软引用和弱引用 三.如何利用软引用和弱引用解决OOM问题 如果有不正之处,希望谅解和批评指正,不胜感激。 请尊重作者劳动成果,转载请标明原文链接:   http://www.cnblogs.com/dolphin0...

阅读全文>>

标签: OOM 软引用 弱引用

评论(0) 浏览(1970)

【转】Java多线程-工具篇-BlockingQueue

2015-12-22 diaba 多线程

前言:      在新增的Concurrent包中,BlockingQueue很好的解决了多线程中,如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类,为我们快速搭建高质量的多线程程序带来极大的便利。本文详细介绍了BlockingQueue家庭中的所有成员,包括他们各自的功能以及常见使用场景。 认识BlockingQueue 阻塞队列,顾名思义,首先它是一个队列,而一个队列在数据结构中所起的作用大致如下图所示: 从上图我们可以很清楚看到,通过一个共享的队列,可以使得数据由队列的一端输入,从另外一端输出;...

阅读全文>>

标签: BlockingQueue

评论(0) 浏览(1730)

spring-ioc配置

2015-12-19 diaba 技术框架

通过xml配置bean时,可以控制spring容器中保留几个实例 默认是单例的,如果想要实现每次从容器中取得实例,都是新实例,那么只需要配置 scope="prototype" 参数即可。 默认是: scope="singleton"

阅读全文>>

标签: spring ioc

评论(0) 浏览(1755)

Mysql-ifnull,if语句

2015-12-17 diaba Mysql

取某行数据多个数值字段最大的一个值 select if(field1>field2,field1,field2) as bigger, if(if(field1>field2,field1,field2)>if(field3>field4,field3,field4),if(field1>field2,field1,field2),if(field3>field4,field3,field4)) as biggest from dual;

阅读全文>>

标签: mysql if ifnull

评论(0) 浏览(2016)

Paxos 算法/协议

2015-12-6 diaba 分布式

基于消息传递的一致性算法。 节点通讯存在两种模式:共享内存(Shared memory,需要锁)和消息传递(Message passing)。

阅读全文>>

标签: paxos 分布式一致性

评论(0) 浏览(1911)

MySQL Query Cache 小结

2015-12-6 diaba Mysql

作者:Sky.Jian | 可以任意转载, 但转载时务必以超链接形式标明文章原始出处 和 作者信息 及 版权声明 链接:http://isky000.com/database/mysql-query-cache-summary 最近经常有人问我 MySQL Query Cache 相关的问题,就整理一点 MySQL Query Cache 的内容,以供参考。 顾名思义,MySQL Query Cache 就是用来缓存和 Query 相关的数据的。具体来说,Query Cache 缓存了我们客户端提交给 MySQL 的 SELECT 语句以及该语句的结果集。大概来讲,就是将 SE...

阅读全文>>

标签: cache mysql query

评论(0) 浏览(1872)

Mysql-如果为null返回0

2015-12-4 diaba Mysql

1、如果为空返回0 select ifnull(null,0) 2、如果为空返回0,否则返回1 select if(isnull(col),0,1) as col.

阅读全文>>

标签: 数据库 mysql 如果为null

评论(0) 浏览(2609)

MyBatis-Improper inline parameter map format. Should be: #{propName,attr1=val1,attr2=val2}

2015-12-4 diaba ibatis

使用mybatis框架实现数据持久化时,出现Improper inline parameter map format.  Should be: #{propName,attr1=val1,attr2=val2}错误, 数据库表主键ID类型为int,Auto increment类型,对应的sqlMap中设置为: <insert id="insert" > <![CDATA[ INSERT INTO TableName ( ID , ...

阅读全文>>

标签: mybatis Improper inline

评论(1) 浏览(11936)

进程与线程的一个简单解释

2015-12-3 diaba 操作系统

作者: 阮一峰 日期: 2013年4月24日 进程(process)和线程(thread)是操作系统的基本概念,但是它们比较抽象,不容易掌握。 最近,我读到一篇材料,发现有一个很好的类比,可以把它们解释地清晰易懂。 1. 计算机的核心是CPU,它承担了所有的计算任务。它就像一座工厂,时刻在运行。 2. 假定工厂的电力有限,一次只能供给一个车间使用。也就是说,一个车间开工的时候,其他车间都必须停工...

阅读全文>>

标签: 操作系统 进程 线程 并发 共享内存

评论(0) 浏览(1833)

Powered by emlog 京ICP备15045175号-1 Copyright © 2022