bug fix
This commit is contained in:
parent
b4bffa978c
commit
66c8abbcea
104
que.go
104
que.go
@ -5,6 +5,7 @@ import (
|
|||||||
"context"
|
"context"
|
||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"errors"
|
"errors"
|
||||||
|
"os"
|
||||||
"sync"
|
"sync"
|
||||||
"time"
|
"time"
|
||||||
)
|
)
|
||||||
@ -21,10 +22,11 @@ type MsgQueue struct {
|
|||||||
|
|
||||||
// StarQueue 为流数据中的消息队列分发
|
// StarQueue 为流数据中的消息队列分发
|
||||||
type StarQueue struct {
|
type StarQueue struct {
|
||||||
|
count int64
|
||||||
Encode bool
|
Encode bool
|
||||||
Reserve uint16
|
Reserve uint16
|
||||||
Msgid uint16
|
Msgid uint16
|
||||||
MsgPool []MsgQueue
|
MsgPool chan MsgQueue
|
||||||
UnFinMsg sync.Map
|
UnFinMsg sync.Map
|
||||||
LastID int //= -1
|
LastID int //= -1
|
||||||
ctx context.Context
|
ctx context.Context
|
||||||
@ -32,17 +34,29 @@ type StarQueue struct {
|
|||||||
duration time.Duration
|
duration time.Duration
|
||||||
EncodeFunc func([]byte) []byte
|
EncodeFunc func([]byte) []byte
|
||||||
DecodeFunc func([]byte) []byte
|
DecodeFunc func([]byte) []byte
|
||||||
//parseMu sync.Mutex
|
//restoreMu sync.Mutex
|
||||||
restoreMu sync.Mutex
|
}
|
||||||
|
|
||||||
|
func NewQueueCtx(ctx context.Context, count int64) *StarQueue {
|
||||||
|
var que StarQueue
|
||||||
|
que.Encode = false
|
||||||
|
que.count = count
|
||||||
|
que.MsgPool = make(chan MsgQueue, count)
|
||||||
|
if ctx == nil {
|
||||||
|
que.ctx, que.cancel = context.WithCancel(context.Background())
|
||||||
|
} else {
|
||||||
|
que.ctx, que.cancel = context.WithCancel(ctx)
|
||||||
|
}
|
||||||
|
que.duration = 0
|
||||||
|
return &que
|
||||||
|
}
|
||||||
|
func NewQueueWithCount(count int64) *StarQueue {
|
||||||
|
return NewQueueCtx(nil, count)
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewQueue 建立一个新消息队列
|
// NewQueue 建立一个新消息队列
|
||||||
func NewQueue() *StarQueue {
|
func NewQueue() *StarQueue {
|
||||||
var que StarQueue
|
return NewQueueWithCount(32)
|
||||||
que.Encode = false
|
|
||||||
que.ctx, que.cancel = context.WithCancel(context.Background())
|
|
||||||
que.duration = 0
|
|
||||||
return &que
|
|
||||||
}
|
}
|
||||||
|
|
||||||
// Uint32ToByte 4位uint32转byte
|
// Uint32ToByte 4位uint32转byte
|
||||||
@ -112,8 +126,17 @@ type unFinMsg struct {
|
|||||||
RecvMsg []byte
|
RecvMsg []byte
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (que *StarQueue) push2list(msg MsgQueue) {
|
||||||
|
que.MsgPool <- msg
|
||||||
|
}
|
||||||
|
|
||||||
// ParseMessage 用于解析收到的msg信息
|
// ParseMessage 用于解析收到的msg信息
|
||||||
func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error {
|
func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error {
|
||||||
|
return que.parseMessage(msg, conn)
|
||||||
|
}
|
||||||
|
|
||||||
|
// parseMessage 用于解析收到的msg信息
|
||||||
|
func (que *StarQueue) parseMessage(msg []byte, conn interface{}) error {
|
||||||
tmp, ok := que.UnFinMsg.Load(conn)
|
tmp, ok := que.UnFinMsg.Load(conn)
|
||||||
if ok { //存在未完成的信息
|
if ok { //存在未完成的信息
|
||||||
lastMsg := tmp.(*unFinMsg)
|
lastMsg := tmp.(*unFinMsg)
|
||||||
@ -136,7 +159,7 @@ func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error {
|
|||||||
if len(msg) == 0 {
|
if len(msg) == 0 {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
return que.ParseMessage(msg, conn)
|
return que.parseMessage(msg, conn)
|
||||||
}
|
}
|
||||||
//获得本数据包长度
|
//获得本数据包长度
|
||||||
lastMsg.LengthRecv = ByteToUint32(lastMsg.HeaderMsg[8:12])
|
lastMsg.LengthRecv = ByteToUint32(lastMsg.HeaderMsg[8:12])
|
||||||
@ -156,38 +179,40 @@ func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error {
|
|||||||
lastMsg.RecvMsg = que.DecodeFunc(lastMsg.RecvMsg)
|
lastMsg.RecvMsg = que.DecodeFunc(lastMsg.RecvMsg)
|
||||||
}
|
}
|
||||||
msg = msg[lastMsg.LengthRecv:]
|
msg = msg[lastMsg.LengthRecv:]
|
||||||
stroeMsg := MsgQueue{
|
storeMsg := MsgQueue{
|
||||||
ID: lastMsg.ID,
|
ID: lastMsg.ID,
|
||||||
Msg: lastMsg.RecvMsg,
|
Msg: lastMsg.RecvMsg,
|
||||||
Conn: conn,
|
Conn: conn,
|
||||||
}
|
}
|
||||||
que.MsgPool = append(que.MsgPool, stroeMsg)
|
//que.restoreMu.Lock()
|
||||||
|
que.push2list(storeMsg)
|
||||||
|
//que.restoreMu.Unlock()
|
||||||
que.UnFinMsg.Delete(conn)
|
que.UnFinMsg.Delete(conn)
|
||||||
return que.ParseMessage(msg, conn)
|
return que.parseMessage(msg, conn)
|
||||||
}
|
}
|
||||||
} else {
|
} else {
|
||||||
lastID := int(lastMsg.LengthRecv) - len(lastMsg.RecvMsg)
|
lastID := int(lastMsg.LengthRecv) - len(lastMsg.RecvMsg)
|
||||||
if lastID < 0 {
|
if lastID < 0 {
|
||||||
que.UnFinMsg.Delete(conn)
|
que.UnFinMsg.Delete(conn)
|
||||||
return que.ParseMessage(msg, conn)
|
return que.parseMessage(msg, conn)
|
||||||
}
|
}
|
||||||
if len(msg) >= lastID {
|
if len(msg) >= lastID {
|
||||||
lastMsg.RecvMsg = bytesMerge(lastMsg.RecvMsg, msg[0:lastID])
|
lastMsg.RecvMsg = bytesMerge(lastMsg.RecvMsg, msg[0:lastID])
|
||||||
if que.Encode {
|
if que.Encode {
|
||||||
lastMsg.RecvMsg = que.DecodeFunc(lastMsg.RecvMsg)
|
lastMsg.RecvMsg = que.DecodeFunc(lastMsg.RecvMsg)
|
||||||
}
|
}
|
||||||
stroeMsg := MsgQueue{
|
storeMsg := MsgQueue{
|
||||||
ID: lastMsg.ID,
|
ID: lastMsg.ID,
|
||||||
Msg: lastMsg.RecvMsg,
|
Msg: lastMsg.RecvMsg,
|
||||||
Conn: conn,
|
Conn: conn,
|
||||||
}
|
}
|
||||||
que.MsgPool = append(que.MsgPool, stroeMsg)
|
que.push2list(storeMsg)
|
||||||
que.UnFinMsg.Delete(conn)
|
que.UnFinMsg.Delete(conn)
|
||||||
if len(msg) == lastID {
|
if len(msg) == lastID {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
msg = msg[lastID:]
|
msg = msg[lastID:]
|
||||||
return que.ParseMessage(msg, conn)
|
return que.parseMessage(msg, conn)
|
||||||
}
|
}
|
||||||
lastMsg.RecvMsg = bytesMerge(lastMsg.RecvMsg, msg)
|
lastMsg.RecvMsg = bytesMerge(lastMsg.RecvMsg, msg)
|
||||||
que.UnFinMsg.Store(conn, lastMsg)
|
que.UnFinMsg.Store(conn, lastMsg)
|
||||||
@ -204,7 +229,7 @@ func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error {
|
|||||||
msg = msg[start:]
|
msg = msg[start:]
|
||||||
lastMsg := unFinMsg{}
|
lastMsg := unFinMsg{}
|
||||||
que.UnFinMsg.Store(conn, &lastMsg)
|
que.UnFinMsg.Store(conn, &lastMsg)
|
||||||
return que.ParseMessage(msg, conn)
|
return que.parseMessage(msg, conn)
|
||||||
}
|
}
|
||||||
|
|
||||||
func checkHeader(msg []byte) bool {
|
func checkHeader(msg []byte) bool {
|
||||||
@ -250,38 +275,31 @@ func bytesMerge(src ...[]byte) []byte {
|
|||||||
}
|
}
|
||||||
|
|
||||||
// Restore 获取收到的信息
|
// Restore 获取收到的信息
|
||||||
func (que *StarQueue) Restore(n int) ([]MsgQueue, error) {
|
func (que *StarQueue) Restore() (MsgQueue, error) {
|
||||||
que.restoreMu.Lock()
|
if que.duration.Seconds() == 0 {
|
||||||
defer que.restoreMu.Unlock()
|
que.duration = 86400 * time.Second
|
||||||
var res []MsgQueue
|
}
|
||||||
dura := time.Duration(0)
|
for {
|
||||||
for len(que.MsgPool) < n {
|
|
||||||
select {
|
select {
|
||||||
case <-que.ctx.Done():
|
case <-que.ctx.Done():
|
||||||
return res, errors.New("Stoped By External Function Call")
|
return MsgQueue{}, errors.New("Stoped By External Function Call")
|
||||||
default:
|
case <-time.After(que.duration):
|
||||||
time.Sleep(time.Millisecond * 20)
|
if que.duration != 0 {
|
||||||
dura = time.Millisecond*20 + dura
|
return MsgQueue{}, os.ErrDeadlineExceeded
|
||||||
if que.duration != 0 && dura > que.duration {
|
}
|
||||||
return res, errors.New("Time Exceed")
|
case data, ok := <-que.MsgPool:
|
||||||
|
if !ok {
|
||||||
|
return MsgQueue{}, os.ErrClosed
|
||||||
|
}
|
||||||
|
return data, nil
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
if len(que.MsgPool) < n {
|
|
||||||
return res, errors.New("Result Not Enough")
|
|
||||||
}
|
|
||||||
res = que.MsgPool[0:n]
|
|
||||||
que.MsgPool = que.MsgPool[n:]
|
|
||||||
return res, nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// RestoreOne 获取收到的一个信息
|
// RestoreOne 获取收到的一个信息
|
||||||
|
//兼容性修改
|
||||||
func (que *StarQueue) RestoreOne() (MsgQueue, error) {
|
func (que *StarQueue) RestoreOne() (MsgQueue, error) {
|
||||||
data, err := que.Restore(1)
|
return que.Restore()
|
||||||
if len(data) == 1 {
|
|
||||||
return data[0], err
|
|
||||||
}
|
|
||||||
return MsgQueue{}, err
|
|
||||||
}
|
}
|
||||||
|
|
||||||
// Stop 立即停止Restore
|
// Stop 立即停止Restore
|
||||||
@ -293,3 +311,7 @@ func (que *StarQueue) Stop() {
|
|||||||
func (que *StarQueue) RestoreDuration(tm time.Duration) {
|
func (que *StarQueue) RestoreDuration(tm time.Duration) {
|
||||||
que.duration = tm
|
que.duration = tm
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (que *StarQueue) RestoreChan() <-chan MsgQueue {
|
||||||
|
return que.MsgPool
|
||||||
|
}
|
||||||
|
42
que_test.go
Normal file
42
que_test.go
Normal file
@ -0,0 +1,42 @@
|
|||||||
|
package starnet
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"testing"
|
||||||
|
"time"
|
||||||
|
)
|
||||||
|
|
||||||
|
func Test_QueSpeed(t *testing.T) {
|
||||||
|
que := NewQueueWithCount(0)
|
||||||
|
stop := make(chan struct{}, 1)
|
||||||
|
que.RestoreDuration(time.Second * 10)
|
||||||
|
var count int64
|
||||||
|
go func() {
|
||||||
|
for {
|
||||||
|
select {
|
||||||
|
case <-stop:
|
||||||
|
//fmt.Println(count)
|
||||||
|
return
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
_, err := que.RestoreOne()
|
||||||
|
if err == nil {
|
||||||
|
count++
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
cp := 0
|
||||||
|
stoped := time.After(time.Second * 10)
|
||||||
|
data := que.BuildMessage([]byte("hello"))
|
||||||
|
for {
|
||||||
|
select {
|
||||||
|
case <-stoped:
|
||||||
|
fmt.Println(count, cp)
|
||||||
|
stop <- struct{}{}
|
||||||
|
return
|
||||||
|
default:
|
||||||
|
que.ParseMessage(data, "lala")
|
||||||
|
cp++
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
Loading…
x
Reference in New Issue
Block a user