通用連接池

EasySwoole 實現(xiàn)的通用的協(xié)程連接池管理。

組件要求

• php: >=7.1.0
• ext-json: *
• easyswoole/component: ^2.2.1
• easyswoole/spl: ^1.3
• easyswoole/utility: ^1.1

安裝方法

composer require easyswoole/pool

倉庫地址

easyswoole/pool

池配置

在實例化一個連接池對象時，需要傳入一個連接池配置對象 EasySwoole\Pool\Config，該對象的屬性如下:

配置項	默認值	說明	備注
$intervalCheckTime	15 * 1000	定時器執(zhí)行頻率（毫秒），默認值為 15 s	用于定時執(zhí)行連接池對象回收，創(chuàng)建操作
$maxIdleTime	10	連接池對象最大閑置時間（秒）	超過這個時間未使用的對象將會被定時器回收
$maxObjectNum	20	連接池最大數(shù)量	每個進程最多會創(chuàng)建 $maxObjectNum 個連接池對象，如果對象都在使用，則會返回空，或者等待連接空閑
$minObjectNum	5	連接池最小數(shù)量（熱啟動）	當連接池對象總數(shù)低于 $minObjectNum 時，會自動創(chuàng)建連接，保持連接的活躍性，讓控制器能夠盡快地獲取連接
$getObjectTimeout	3.0	獲取連接池中連接對象的超時時間	當連接池為空時，會等待 $getObjectTimeout 秒，如果期間有連接空閑，則會返回連接對象，否則返回 null
$extraConf		額外配置信息	在實例化連接池前，可以把一些額外配置放到這里，例如數(shù)據(jù)庫配置信息、redis 配置等等
$loadAverageTime	0.001	負載閾值	并發(fā)來臨時，連接池內(nèi)對象達到 maxObjectNum，此時并未達到 intervalCheckTime 周期檢測，因此設定了一個 5s 負載檢測，當 5s 內(nèi)，取出總時間/取出連接總次數(shù)，會得到一個平均取出時間，如果小于此閾值，說明此次并發(fā)峰值非持續(xù)性，將回收 5% 的連接

池管理器

池管理器可以做全局的連接池管理，例如在 EasySwooleEvent.php 中的 initialize 事件中注冊，然后可以在控制器中獲取連接池然后進行獲取連接：

下面以使用實現(xiàn) easyswoole/redis 組件實現(xiàn) Redis 連接池為例：

前提：先使用 composer 安裝 easyswoole/redis 組件：

composer require easyswoole/redis

定義 RedisPool 管理器

基于 AbstractPool 實現(xiàn)：

新增文件 \App\Pool\RedisPool.php，內(nèi)容如下：

<?php
/**
 * This file is part of EasySwoole.
 *
 * @link http://www.edpy57.cn
 * @document http://www.edpy57.cn
 * @contact http://www.edpy57.cn/Preface/contact.html
 * @license https://github.com/easy-swoole/easyswoole/blob/3.x/LICENSE
 */

namespace App\Pool;

use EasySwoole\Pool\AbstractPool;
use EasySwoole\Pool\Config;
use EasySwoole\Redis\Config\RedisConfig;
use EasySwoole\Redis\Redis;

class RedisPool extends AbstractPool
{
    protected $redisConfig;

    /**
     * 重寫構造函數(shù)，為了傳入 redis 配置
     * RedisPool constructor.
     * @param Config      $conf
     * @param RedisConfig $redisConfig
     * @throws \EasySwoole\Pool\Exception\Exception
     */
    public function __construct(Config $conf, RedisConfig $redisConfig)
    {
        parent::__construct($conf);
        $this->redisConfig = $redisConfig;
    }

    protected function createObject()
    {
        // 根據(jù)傳入的 redis 配置進行 new 一個 redis 連接
        $redis = new Redis($this->redisConfig);
        return $redis;
    }
}

或者基于 MagicPool 實現(xiàn)：

<?php
/**
 * This file is part of EasySwoole.
 *
 * @link http://www.edpy57.cn
 * @document http://www.edpy57.cn
 * @contact http://www.edpy57.cn/Preface/contact.html
 * @license https://github.com/easy-swoole/easyswoole/blob/3.x/LICENSE
 */

namespace App\Pool;

use EasySwoole\Pool\Config;
use EasySwoole\Pool\MagicPool;
use EasySwoole\Redis\Config\RedisConfig;
use EasySwoole\Redis\Redis;

class RedisPool1 extends MagicPool
{
    /**
     * 重寫構造函數(shù)，為了傳入 redis 配置
     * RedisPool constructor.
     * @param Config $config 連接池配置
     * @param RedisConfig $redisConfig
     * @throws \EasySwoole\Pool\Exception\Exception
     */
    public function __construct(Config $config, RedisConfig $redisConfig)
    {
        parent::__construct(function () use ($redisConfig) {
            $redis = new Redis($redisConfig);
            return $redis;
        }, $config);
    }
}

注冊連接池管理對象

在 EasySwooleEvent.php 中的 initialize/mainServerCreate 事件中注冊，然后可以在控制器中獲取連接池然后進行獲取連接：

<?php

public static function initialize()
{
    // TODO: Implement initialize() method.
    date_default_timezone_set('Asia/Shanghai');

    $config = new \EasySwoole\Pool\Config();

    $redisConfig1 = new \EasySwoole\Redis\Config\RedisConfig(Config::getInstance()->getConf('REDIS1'));
    $redisConfig2 = new \EasySwoole\Redis\Config\RedisConfig(Config::getInstance()->getConf('REDIS2'));

    // 注冊連接池管理對象
    \EasySwoole\Pool\Manager::getInstance()->register(new \App\Pool\RedisPool($config,$redisConfig1), 'redis1');
    \EasySwoole\Pool\Manager::getInstance()->register(new \App\Pool\RedisPool($config,$redisConfig2), 'redis2');
}

在控制器中獲取連接池中連接對象，進行調(diào)用：

<?php

public function index()
{
    // 取出連接池管理對象，然后獲取連接對象（getObject）
    $redis1 = \EasySwoole\Pool\Manager::getInstance()->get('redis1')->getObj();
    $redis2 = \EasySwoole\Pool\Manager::getInstance()->get('redis2')->getObj();

    $redis1->set('name', '仙士可');
    var_dump($redis1->get('name'));

    $redis2->set('name', '仙士可2號');
    var_dump($redis2->get('name'));

    // 回收連接對象（將連接對象重新歸還到連接池，方便后續(xù)使用）
        \EasySwoole\Pool\Manager::getInstance()->get('redis1')->recycleObj($redis1);
        \EasySwoole\Pool\Manager::getInstance()->get('redis2')->recycleObj($redis2);

    // 釋放連接對象（將連接對象直接徹底釋放，后續(xù)不再使用）
    // \EasySwoole\Pool\Manager::getInstance()->get('redis1')->unsetObj($redis1);
    // \EasySwoole\Pool\Manager::getInstance()->get('redis2')->unsetObj($redis2);
}

池對象方法

方法名稱	參數(shù)	說明	備注
createObject		抽象方法,創(chuàng)建連接對象
recycleObj	$obj	回收一個連接
getObj	float $timeout = null, int $tryTimes = 3	在指定的超時時間 $timeout （秒）內(nèi)獲取一個連接，會重復嘗試獲取 $tryTimes 次直到獲取到，獲取失敗則返回 null
unsetObj	$obj	直接釋放一個連接
idleCheck	int $idleTime	回收超過 $idleTime 未出隊使用的連接
itemIntervalCheck	ObjectInterface $item	判斷當前客戶端是否還可用
intervalCheck		回收連接，以及熱啟動方法，允許外部調(diào)用熱啟動
keepMin	?int $num = null	保持最小連接（熱啟動）
getConfig		獲取連接池的配置信息
status		獲取連接池狀態(tài)信息	獲取當前連接池已創(chuàng)建、已使用、最大創(chuàng)建、最小創(chuàng)建數(shù)據(jù)
isPoolObject	$obj	查看 $obj 對象是否由該連接池創(chuàng)建
isInPool	$obj	獲取當前連接是否在連接池內(nèi)未使用
destroy		銷毀該連接池
reset		重置該連接池
invoke	callable $call,float $timeout = null	獲取一個連接，傳入到 $call 回調(diào)函數(shù)中進行處理，回調(diào)結束后自動回收連接
defer	float $timeout = null	獲取一個連接，協(xié)程結束后自動回收

getObj

獲取一個連接池的對象：

<?php

go(function () {
    $redisPool = new \App\Pool\RedisPool(new \EasySwoole\Pool\Config(), new \EasySwoole\Redis\Config\RedisConfig(\EasySwoole\EasySwoole\Config::getInstance()->getConf('REDIS')));
    $redis = $redisPool->getObj();
    var_dump($redis->echo('仙士可'));
    $redisPool->recycleObj($redis);
});

unsetObj

直接釋放一個連接池的連接對象，其他協(xié)程不能再獲取到這個連接對象，而是會重新創(chuàng)建一個連接對象

recycleObj

回收一個連接對象，回收之后，其他協(xié)程可以正常獲取這個連接對象。

invoke

獲取一個連接，傳入到 $call 回調(diào)函數(shù)中進行處理，回調(diào)結束后自動回收連接：

<?php

go(function () {
    $redisPool = new \App\Pool\RedisPool(new \EasySwoole\Pool\Config(), new \EasySwoole\Redis\Config\RedisConfig(\EasySwoole\EasySwoole\Config::getInstance()->getConf('REDIS')));
    $redisPool->invoke(function (\EasySwoole\Redis\Redis $redis) {
        var_dump($redis->echo('仙士可'));
    });
});

defer

獲取一個連接，協(xié)程結束后自動回收

<?php

go(function () {
    $redisPool = new \App\Pool\RedisPool(new \EasySwoole\Pool\Config(), new \EasySwoole\Redis\Config\RedisConfig(\EasySwoole\EasySwoole\Config::getInstance()->getConf('REDIS')));
    $redis = $redisPool->defer();
    var_dump($redis->echo('仙士可'));
});

keepMin

保持最小連接(熱啟動)。

由于 easyswoole/pool 當剛啟動服務，出現(xiàn)過大的并發(fā)時，可能會突然需要幾十個甚至上百個連接，這時為了讓創(chuàng)建連接的時間分散，可以通過調(diào)用 keepMin 方法進行預熱啟動連接。

調(diào)用此方法后，將會預先創(chuàng)建 N 個連接，用于服務啟動之后的控制器直接獲取連接：

預熱使用示例如下：

在 EasySwooleEvent.php 中的 mainServerCreate 中，當 Worker 進程啟動后，熱啟動連接：

<?php

public static function mainServerCreate(EventRegister $register)
{
    $register->add($register::onWorkerStart, function (\swoole_server $server, int $workerId) {
        if ($server->taskworker == false) {
            //每個worker進程都預創(chuàng)建連接
            \EasySwoole\Pool\Manager::getInstance()->get('redis')->keepMin(10);
            var_dump(\EasySwoole\Pool\Manager::getInstance()->get('redis')->status());
        }
    });
}

將會輸出:

array(4) {
  ["created"]=>
  int(10)
  ["inuse"]=>
  int(0)
  ["max"]=>
  int(20)
  ["min"]=>
  int(5)
}

getConfig

獲取連接池的配置：

<?php

$redisPool = new \App\Pool\RedisPool(new \EasySwoole\Pool\Config(), new \EasySwoole\Redis\Config\RedisConfig(\EasySwoole\EasySwoole\Config::getInstance()->getConf('REDIS')));
var_dump($redisPool->getConfig());    

destroy

銷毀連接池。

調(diào)用之后，連接池剩余的所有鏈接都會被執(zhí)行 unsetObj，并且將關閉連接隊列，調(diào)用之后 getObj 等方法都將失效：

<?php

go(function () {
    $redisPool = new \App\Pool\RedisPool(new \EasySwoole\Pool\Config(), new \EasySwoole\Redis\Config\RedisConfig(\EasySwoole\EasySwoole\Config::getInstance()->getConf('REDIS')));
    var_dump($redisPool->getObj());
    $redisPool->destroy();
    var_dump($redisPool->getObj());
});

reset

重置連接池。

調(diào)用 reset 之后，會自動調(diào)用 destroy 銷毀連接池，并在下一次 getObj 時重新初始化該連接池：

<?php

go(function (){
    $redisPool = new \App\Pool\RedisPool(new \EasySwoole\Pool\Config(), new \EasySwoole\Redis\Config\RedisConfig(\EasySwoole\EasySwoole\Config::getInstance()->getConf('REDIS')));
    var_dump($redisPool->getObj());
    $redisPool->reset();
    var_dump($redisPool->getObj());
});

status

獲取連接池當前狀態(tài)，調(diào)用之后將輸出：

<?php

go(function () {
    $redisPool = new \App\Pool\RedisPool(new \EasySwoole\Pool\Config(), new \EasySwoole\Redis\Config\RedisConfig(\EasySwoole\EasySwoole\Config::getInstance()->getConf('REDIS')));
    var_dump($redisPool->status());
});

array(4) {
  ["created"]=>
  int(10)
  ["inuse"]=>
  int(0)
  ["max"]=>
  int(20)
  ["min"]=>
  int(5)
}

idleCheck

回收空閑超時的連接

intervalCheck

調(diào)用此方法后，將調(diào)用 idleCheck 和 keepMin 方法，用于手動回收空閑連接和手動熱啟動連接

<?php

public function intervalCheck()
{
    $this->idleCheck($this->getConfig()->getMaxIdleTime());
    $this->keepMin($this->getConfig()->getMinObjectNum());
}

itemIntervalCheck

在內(nèi)部定時器丟棄超時客戶端（閑置了超過指定時間，就先斷開）時，會觸發(fā) itemIntervalCheck 函數(shù)，并將客戶端傳入，用戶通過這個函數(shù)可以實現(xiàn)判斷客戶端是否可用的邏輯。

該函數(shù)如果返回 true 代表可用（默認情況），返回false 將會導致該客戶端直接被丟棄。

可用于：維持客戶端心跳等。如 orm 中對其使用場景如下：維持 mysql 連接，減少 mysql 掉線 gone away 的幾率

<?php
/**
 * @param MysqliClient $item
 * @return bool
 */
public function itemIntervalCheck($item): bool
{
    /*
     * 如果最后一次使用時間超過 autoPing 間隔
     */
    /** @var Config $config */
    $config = $this->getConfig();
    if ($config->getAutoPing() > 0 && (time() - $item->__lastUseTime > $config->getAutoPing())) {
        try {
            // 執(zhí)行一個sql觸發(fā)活躍信息
            $item->rawQuery('select 1');
            // 標記使用時間，避免被再次 gc
            $item->__lastUseTime = time();
            return true;
        } catch (\Throwable $throwable) {
            // 異常說明該鏈接出錯了，return 進行回收
            return false;
        }
    } else {
        return true;
    }
}

基本使用

定義池對象

<?php

class Std implements \EasySwoole\Pool\ObjectInterface
{
    function gc()
    {
        /*
         * 本對象被 pool 執(zhí)行 unset 的時候
         */
    }

    function objectRestore()
    {
        /*
         * 回歸到連接池的時候
         */
    }

    function beforeUse(): ?bool
    {
        /*
         * 取出連接池的時候，若返回false，則當前對象被棄用回收
         */
        return true;
    }

    public function who()
    {
        return spl_object_id($this);
    }
}

定義池

<?php

class StdPool extends \EasySwoole\Pool\AbstractPool
{
    protected function createObject()
    {
        return new Std();
    }
}

不一定非要在創(chuàng)建對象方法 createObject() 中返回 EasySwoole\Pool\ObjectInterface 對象，任意類型對象均可

在 pool 組件版本 >= 1.0.2 后，提供了 魔術池 支持，可以快速進行定義池。

<?php

use \EasySwoole\Pool\MagicPool;

$magic = new MagicPool(function () {
    return new \stdClass(); // 示例，可以返回實現(xiàn)了 ObjectInterface 的對象
});

// 注冊后獲取
$test = $magic->getObj();
// 歸還
$magic->recycleObj($test);

魔術池構造方法的第二個參數(shù)，可以接收一個 config（EasySwoole\Pool\Config 類），用于定義池數(shù)量等配置。

簡單示例

<?php

$config = new \EasySwoole\Pool\Config();
$pool = new StdPool($config);

go(function () use ($pool) {
    $obj = $pool->getObj();
    $obj2 = $pool->getObj();
    var_dump($obj->who());
    var_dump($obj2->who());
});

進階使用

基于 pool 實現(xiàn)的 Redis 連接池

[基于 pool 實現(xiàn)的 MySql 連接池]()

相關倉庫

easyswoole/redis-pool