Bài toán scalable trên WebSocket servers

Thách thức trong mở rộng WebSocket

Mở rộng HTTP

Mở rộng WebSocket

Phân tích lý thuyết

Mục tiêu

Vấn đề

• Nhiều máy chủ websocket có liên quan nên phối hợp với nhau. Khi máy chủ nhận được tin nhắn từ máy khách, nó phải đảm bảo rằng mọi máy khách được kết nối với bất kỳ máy chủ nào đều nhận được tin nhắn này.

• Khi máy khách bắt tay và thiết lập kết nối với máy chủ, tất cả các tin nhắn trong tương lai của nó sẽ chuyển qua cùng một máy chủ, nếu không máy chủ khác sẽ từ chối các tin nhắn tiếp theo khi nhận được chúng.

Giải pháp

const redisAdapter = require('socket.io-redis');
const redisHost = process.env.REDIS_HOST || 'localhost';
io.adapter(redisAdapter({ host: redisHost, port: 6379 }));

Tóm tắt

• Mỗi máy khách sẽ thiết lập kết nối với một phiên bản máy chủ ứng dụng websocket cụ thể.

• Bất kỳ tin nhắn nào được gửi từ máy khách luôn đi qua cùng một máy chủ mà phiên được khởi tạo.

• Khi nhận được tin nhắn, máy chủ có thể phát nó. Bộ điều hợp chịu trách nhiệm quảng bá (broadcast) tất cả các máy chủ khác sẽ chuyển tiếp tin nhắn đến tất cả các máy khách đã thiết lập kết nối với chúng.

Tutorials

Bước 1: Khởi tạo WebSocket server với Redis adapter

const os = require('os');
const ifaces = os.networkInterfaces();

const privateIp = (() => {
  return Object.values(ifaces).flat().find(val => {
    return (val.family == 'IPv4' && val.internal == false);
  }).address;
})();

const randomOffset = Math.floor(Math.random() * 10);
const intervalOffset = (30+randomOffset) * Math.pow(10,3);

// WebSocket Server
const socketPort = 5000;
const socketServer = require('http').createServer();
const io = require('socket.io')(socketServer, {
  path: '/'
});
// Redis Adapter
const redisAdapter = require('socket.io-redis');
const redisHost = process.env.REDIS_HOST || 'localhost'; // 'redis-master.default.svc';
io.adapter(redisAdapter({ host: redisHost, port: 6379 }));
// Handlers
io.on('connection', client => {
  console.log('New incoming Connection from', client.id);
  client.on('test000', function(message) {
    console.log('Message from the client:',client.id,'->',message);
  })
});
setInterval(() => {
  let log0 = `I am the host: ${privateIp}. I am healty.`;
  console.log(log0);
  io.emit("okok", log0);
}, intervalOffset);

// Web Socket listen
socketServer.listen(socketPort);

Bước 2: Build image cho WebSocket server

# The instructions for the first stage
FROM node:13-alpine as node-compiled

ARG NODE_ENV=prod
ENV NODE_ENV=${NODE_ENV}

# dependecies for npm compiling
RUN apk --no-cache add python make g++

COPY package*.json ./
RUN npm install

# The instructions for second stage
FROM node:13-alpine

WORKDIR /usr/src/app
COPY . .
COPY --from=node-compiled node_modules node_modules

# EXPOSE 5000

CMD [ "npm", "run", "start" ]

docker build . -t ws_local

Bước 3: Tạo file docker-compose.yaml

version: "3.2"
services:
  socket-server:
    # build: .
    # image: sw360cab/wsk-base:0.1.1
    image: websocket_local
    # restart: always
    deploy:
      mode: replicated
      replicas: 2
    environment:
      - "REDIS_HOST=redis"
    labels:
      - "traefik.enable=true"
      - "traefik.http.routers.socket-router.rule=PathPrefix(`/wsk`)"
      - "traefik.http.services.service01.loadbalancer.server.port=5000"
      - "traefik.http.services.service01.loadbalancer.sticky.cookie=true"
      - "traefik.http.services.service01.loadbalancer.sticky.cookie.name=io"
      - "traefik.http.services.service01.loadbalancer.sticky.cookie.httponly=true"
      - "traefik.http.services.service01.loadbalancer.sticky.cookie.secure=true"
      - "traefik.http.services.service01.loadbalancer.sticky.cookie.samesite=lax"
      # Replace prefix /wsk
      - "traefik.http.middlewares.socket-replaceprefix.replacepath.path=/"
      # Apply the middleware named `socket-replaceprefix` to the router named `scoker-router`
      - "traefik.http.routers.socket-router.middlewares=socket-replaceprefix@docker"

  traefik-reverse-proxy:
    image: traefik:v2.2
    command:
      - "--api.insecure=true"
      - "--providers.docker.exposedByDefault=false"
      - "--accesslog"
      # - "--entryPoints.web.address=:80"
      # - "--entryPoints.web.forwardedHeaders.insecure=true"
    ports:
      - "80:80"
      # The Web UI (enabled by --api.insecure=true)
      - "8080:8080"
    volumes:
      # allow Traefik to listen to the Docker events
      - /var/run/docker.sock:/var/run/docker.sock

  redis:
    image: redis:5.0

Giải thích code

traefik-reverse-proxy:
  image: traefik:v2.2
  command:
    - "--api.insecure=true"
    - "--accesslog"
  ports:
    - "80:80"
    # The Web UI (enabled by --api.insecure=true)
    - "8080:8080"
  volumes:
    # allow Traefik to listen to the Docker events
    - /var/run/docker.sock:/var/run/docker.sock

socket-server:
  image: sw360cab/wsk-base:0.1.1
  restart: always
  deploy:
    mode: replicated
    replicas: 2
  environment:
    - "REDIS_HOST=redis"
  labels:
    - "traefik.http.routers.socket-router.rule=PathPrefix(`/wsk`)"
    - "traefik.http.services.service01.loadbalancer.server.port=5000"
    - "traefik.http.services.service01.loadbalancer.sticky.cookie=true"
    - "traefik.http.services.service01.loadbalancer.sticky.cookie.name=io"
    - "traefik.http.services.service01.loadbalancer.sticky.cookie.httponly=true"
    - "traefik.http.services.service01.loadbalancer.sticky.cookie.secure=true"
    - "traefik.http.services.service01.loadbalancer.sticky.cookie.samesite=io"
    - "traefik.http.middlewares.socket-replaceprefix.replacepath.path=/"
    - "traefik.http.routers.socket-router.middlewares=socket-replaceprefix@docker"

Lưu ý: Trong cấu hình này tôi đã thêm một bước phức tạp khác. Chúng tôi hy vọng ứng dụng websocket sẽ được hiển thị ở đường dẫn /wsk thay vì đường dẫn gốc. Điều này sẽ cho phép chúng ta thấy các thành phần phần mềm trung gian của Traefik đang hoạt động.

• Một bộ định tuyến (router) và các quy tắc của nó xử lý các yêu cầu tới PathPrefix /wsk

• Một dịch vụ (service) tham chiếu cổng (port) được hiển thị bởi dịch vụ ứng dụng websocket (5000) và giải quyết vấn đề truy xuất các phiên cố định - sticky session.

• Một phần mềm trung gian (middleware) sẽ dịch tất cả các yêu cầu nhận được tại đường dẫn /wsk thành những gì dịch vụ websocket đang mong đợi: /.

- "traefik.http.routers.socket-router.middlewares=socket-replaceprefix@docker"

Lưu ý: tên của bộ định tuyến (socket-router), dịch vụ (service01) và phần trung gian (socket-replaceprefix) không tuân theo bất kỳ quy ước nào và hoàn toàn tùy thuộc vào bạn.

Bước 4: Khởi tạo ngăn xếp Docker Swarm

docker stack deploy --compose-file stack/docker-compose.yml wsk

Bước 5: Khởi chạy WebSocket client

const uuid = require('uuid');
const io = require('socket.io-client');
const client = io('http://localhost:80', {
  // port: 5000 - when using direct connection
  // port: 80 - when using Haproxy or Treafik Reverse Proxy
  // port: 30000 - when using plain k8s with NodePort
  // port: 30080, when using Traefik Ingress in k8s
  path: '/wsk', // when using Traefik Ingress
  // path: '/', // for all other scenarios
  reconnection: true,
  reconnectionDelay: 500,
  transports: ['websocket']
});

const clientId = uuid.v4();
let disconnectTimer;

client.on('connect', function(){
  console.log("Connected!", clientId);
  setTimeout(function() {
    console.log('Sending first message');
    client.emit('test000', clientId);
  }, 500);
  // clear disconnection timeout
  clearTimeout(disconnectTimer);
});

client.on('okok', function(message) {
  console.log('The server has a message for you:', message);
})

client.on('disconnect', function(){
  console.log("Disconnected!");
  disconnectTimer = setTimeout(function() {
    console.log('Not reconnecting in 30s. Exiting...');
    process.exit(0);
  }, 10000);
});

client.on('error', function(err){
  console.error(err);
  process.exit(1);
});

setInterval(function() {
  console.log('Sending repeated message');
  client.emit('test000', clientId);
}, 5000);

node client_socket.js

Tổng kết

Tài liệu tham khảo

• sw360cab/websockets-scaling: A tutorial to scale Websockets both via Docker Swarm and Kubernetes

• Concepts - Traefik

• Docker - Traefik

• Docker Configuration Reference - Traefik

• Kubernetes IngressRoute - Traefik

• Middlewares - Traefik

• Sticky Session - Traefik