利用网络传输系统的声音

[weijiz]

为什么要做这件事呢，因为我的电脑耳机插孔不太好使。插上耳机后声音经常的是左边有声音右边没有这样子。在玩游戏的时候这样太不爽了。 而且像VNC这种远程软件是没有声音的，用起来也很不舒服。所以我很需要一个能够远程传输声音的软件。现在有了代码在Github上，虽然还有一些问题，但是基本上能用了，而且还是跨平台的。

下面说一下具体的实现方法。
基本的流程就是从声卡获取到声音信息然后写入到http流里面。这样通过浏览器就可以听到系统的声音了。程序用C#写的，我很喜欢这种语言。声音的获取和转码处理方面用的是一个叫做cscore的库。把http流传给cscore里面对应的API就可以了。但是由于HttpResponse的流是只写的，而cscore里面转码需要的输出流是可读可写的，所以这里要修改cscore的源代码才行。

贴上比较关键的代码吧
在C# web api里面如何处理流

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Net.Http;
using System.Net.Http.Headers;
using System.Text;
using System.Threading.Tasks;
using System.Web.Http;

namespace RemoteAudio.Controllers
{
    public class AudioController : ApiController
    {
        [Route("audio")]
        [HttpGet]
        public HttpResponseMessage Get() {
            var response = Request.CreateResponse();
            response.Content = new PushStreamContent((Action<Stream, HttpContent, TransportContext>)(AudioServer.getInstance().WriteToStream), new MediaTypeHeaderValue("audio/mpeg"));
            response.Headers.Add("Cache-Control", "no-cache");
            return response;
        }

        //[Route("web")]
        //[HttpGet]
        //public HttpResponseMessage Get()
        //{
        //    var response = Request.CreateResponse();
        //    return response;
        //}
    }
}

关键在于以上代码中的PushStreamContent方法。在传进去的回调函数中第一个参数就是HttpResponse的流，把这个流传给修改后的cscore api就可以了。

using (var encoder = MediaFoundationEncoder.CreateMP3Encoder(capture.WaveFormat, httpStream, 48000))
{
                    capture.DataAvailable += (s, e) =>
                    {
                        encoder.Write(e.Data, e.Offset, e.ByteCount);
                    };
 }

用起来也是很简单的。

现有的问题

1. 会有大约三秒的延时。用来听歌之类的是没问题，但是用来玩游戏，绝对不能忍。个人感觉是编码函数里面做了buffer。以后要进行改进。还有就是浏览器按下暂停键后是用浏览器的缓存继续播放，这个和服务器正在传输的流之间的时间差就会增加。这个声音同步应该在浏览器中用js实现呢还是应该在服务器通过一些手段实现呢?还没想好。
2. 没有回收httpResponse stream。这个也是要改进的地方，不然会内存泄露。