您的位置: 首页  >  IT文章  >  Go nsq实践   NSQ NSQ架构 安装

Go nsq实践   NSQ NSQ架构 安装

分类: IT文章 • 2022-09-01 22:50:35

NSQ

NSQ是Go语言编写的一个开源的实时分布式内存消息队列，其性能十分优异。 NSQ的优势有以下优势：

  1. NSQ提倡分布式和分散的拓扑，没有单点故障，支持容错和高可用性，并提供可靠的消息交付保证
  2. NSQ支持横向扩展，没有任何集中式代理。
  3. NSQ易于配置和部署，并且内置了管理界面。

与其他mq的比较：

Go nsq实践   NSQ NSQ架构 安装

NSQ 是由四个重要组件构成：

  • nsqd ：一个负责接收、排队、转发消息到客户端的守护进程
  • nsqlookupd ：管理拓扑信息并提供最终一致性的发现服务的守护进程
  • nsqadmin ：一套 Web 用户界面，可实时查看集群的统计数据和执行各种各样的管理任务
  • utilities ：常见基础功能、数据流处理工具，如 nsq_stat、nsq_tail、nsq_to_file、nsq_to_http、nsq_to_nsq、to_nsq

NSQ 的主要特点如下:

  • 具有分布式且无单点故障的拓扑结构 支持水平扩展，在无中断情况下能够无缝地添加集群节点
  • 低延迟的消息推送，参见官方提供的性能说明文档
  • 具有组合式的负载均衡和多播形式的消息路由
  • 既擅长处理面向流（高吞吐量）的工作负载，也擅长处理面向 Job 的（低吞吐量）工作负载
  • 消息数据既可以存储于内存中，也可以存储在磁盘中
  • 实现了生产者、消费者自动发现和消费者自动连接生产者，参见 nsqlookupd
  • 支持安全传输层协议（TLS），从而确保了消息传递的安全性
  • 具有与数据格式无关的消息结构，支持 JSON、Protocol Buffers、MsgPacek 等消息格式
  • 非常易于部署（几乎没有依赖）和配置（所有参数都可以通过命令行进行配置）
  • 使用了简单的 TCP 协议且具有多种语言的客户端功能库
  • 具有用于信息统计、管理员操作和实现生产者等的 HTTP 接口
  • 为实时检测集成了统计数据收集器 StatsD
  • 具有强大的集群管理界面，参见 nsqadmin

为了达到高效的分布式消息服务，NSQ 实现了合理、智能的权衡，从而使得其能够完全适用于生产环境中，具体内容如下：

  • 支持消息内存队列的大小设置，默认完全持久化（值为 0），消息即可持久到磁盘也可以保存在内存中
  • 保证消息至少传递一次, 以确保消息可以最终成功发送
  • 收到的消息是无序的, 实现了松散订购
  • 发现服务 nsqlookupd 具有最终一致性, 消息最终能够找到所有 Topic 生产者

官方和第三方还为 NSQ 开发了众多客户端功能库，如官方提供的基于 HTTP 的 nsqd 、Go 客户端 go-nsq 、Python 客户端 pynsq 、基于 Node.js 的 JavaScript 客户端 nsqjs 、异步 C 客户端 libnsq 、Java 客户端 nsq-java 以及基于各种语言的众多第三方客户端功能库。更多客户端功能库, 请读者点击这里查看。

NSQ架构

NSQ工作模式

Go nsq实践   NSQ NSQ架构 安装

Topic和Channel

每个nsqd实例旨在一次处理多个数据流。这些数据流称为“topics”，一个topic具有1个或多个“channels”。每个channel都会收到topic所有消息的副本，实际上下游的服务是通过对应的channel来消费topic消息。

topic和channel不是预先配置的。topic在首次使用时创建，方法是将其发布到指定topic，或者订阅指定topic上的channel。channel是通过订阅指定的channel在第一次使用时创建的。

topic和channel都相互独立地缓冲数据，防止缓慢的消费者导致其他chennel的积压（同样适用于topic级别）。

channel可以并且通常会连接多个客户端。假设所有连接的客户端都处于准备接收消息的状态，则每条消息将被传递到随机客户端。例如：

Go nsq实践   NSQ NSQ架构 安装

总而言之，消息是从topic -> channel（每个channel接收该topic的所有消息的副本）多播的，但是从channel -> consumers均匀分布（每个消费者接收该channel的一部分消息）。

nsqlookupd，nsqd与客户端中消费者和生产者的关系

消费者

消费者有两种方式与nsqd建立连接

  • 消费者直连nsqd，这是最简单的方式，缺点是nsqd服务无法实现动态伸缩了。
  • 消费者通过http查询nsqlookupd获取该nsqlookupd上所有nsqd的连接地址，然后再分别和这些nsqd建立连接(官方推荐的做法)，但是客户端会不停的向nsqlookupd查询最新的nsqd地址目录
    还是看图更直接些 ，官方的消费者模型：

Go nsq实践   NSQ NSQ架构 安装

生产者

生产者必须直连nsqd去投递message。

这里有一个问题就是如果生产者所连接的nsqd挂了，那么message就会投递失败，所以在客户端必须自己实现相应的备用方案。

安装

官方下载页面根据自己的平台下载并解压即可。

相关操作：

　1.在一个shell里面启动nsqlookupd

1
$ nsqlookupd


　2.在另一个shell里面启动nsqd

1
$ nsqd --lookupd-tcp-address=127.0.0.1:4160

　

　3.在另一个shell里面启动nsqadmin

1
$ nsqadmin --lookupd-http-address=127.0.0.1:4161

　

　4.发布初始消息

1
$ curl -d 'hello world 1' 'http://127.0.0.1:4151/pub?topic=test'

　　

　5.在另外一个shell里面启动nsq_to_file，消费消息，并存入本地文件

1
$ nsq_to_file --topic=test --output-dir=/tmp --lookupd-http-address=127.0.0.1:4161

　6.发更多消息到nsqd

1
2
$ curl -d 'hello world 2' 'http://127.0.0.1:4151/pub?topic=test'
$ curl -d 'hello world 3' 'http://127.0.0.1:4151/pub?topic=test'

　7.打开web浏览器验证工作是否正常 http://127.0.0.1:4171/若要查看nsqadminUI和见统计信息。另外，检查日志文件的内容(test.*.log)写信给/tmp.

Docker集群部署及实践

原文：Docker部属Nsq集群

相关推荐