androidopensles

‘壹’ android使用FFmpeg播放视频（二）:音频播放

Android使用FFmpeg播放视频（一）:视频播放
Android NDK开发：利用OpenSL ES实现声音播放

这里我创建了两个JNI函数，一个是播放的，一个是释放的如下：

这里我在用于播放的JNI函数中依次初始化了FFmpeg和OpenSLES

其中初始化FFmpeg的函数中的逻辑其实和使用FFmpeg播放视频画面中的逻辑差不多，主要区别就是要找到音频的索引以及后面对于解析音频的一些配置；而初始化OpenSLES基本就和之前使用OpenSLES播放PCM数据是一样的，具体如下：

最后再加入释放资源的逻辑即可

这里的案例源码是和之前播放视频画面的分开了
https://gitee.com/itfitness/ffmpeg-audio-demo

‘贰’ 编译android SLES/OpenSLESUT.h 找不到 是什么有关问题

android 的源码工程是有一个目录专门放第三方应用apk的，然后编译android镜像的时候会自己添加的。之前的apk版本都是ok，编译也通过。今天莫名其妙， 只要改用之前的版本重写了 改动的部分。

‘叁’ 编译android SLES/OpenSLESUT.h 找不到 是什么有关问题

解决： system/media/opensles/tests/automated/BufferQueue_test.cpp #include <unistd.h> #include "SLES/OpenSLES.h" #include "SLES/OpenSLESUT.h" #include <gtest/gtest.h> # updatedb # locate OpenSLESUT.h /home/Android-2.3/system/media/opensles/libopensles/OpenSLESUT.h # cp /home/Android-2.3/system/media/opensles/libopensles/OpenSLESUT.h /home/Android-2.3/system/media/opensles/include/SLES/OpenSLESUT.h

‘肆’ 哔哩哔哩上缓到本地的视频没有声音是怎么回事

“音频输出OpenSlES”该设置项后面的开关，把其设置为打开的状态就可以了，详细步骤：

1、我们首先在手机桌面上找到安装好的“哔哩哔哩”的图标。

‘伍’ 如何编写一个用于Android的音效驱动和控制程序

本教程将逐步讲解从入门开始如何编写一个可用于Android 4.0的音效驱动和控制程序(Android 2.3上只是部分接口不同而已)。对于Android操作系统的架构等将不再叙述。
软件需求(Windows环境)：
Windows操作系统、最新版Cygwin、Android NDK r8或更高、Eclipse、最新版Android SDK
专业技术需求：
掌握基本C/C++语法、掌握基本java语法、基本Android UI设计、定点数学原理和算法、基本音频处理技术
可选高级技术需求：
IIR/FIR滤波器、FFT、Thumb/ARM汇编、NEON指令集

1、什么是Android里的音效驱动，它是什么架构。
从Android 2.3版开始，在系统多媒体框架里增加了一个SoundFX层，这个层就是“音效处理过程”。当多媒体系统运作时，框架允许将一个“标准”的SoundFX库载入对应媒体流的Mixer处。SoundFX库需要遵循OpenSLES架构，即所谓的标准就是实现一个基于OpenSLES架构的.so库。
SoundFX可以被加载到任何一个音频流上，每个音频流使用会话ID作为标识符。注意：0表示系统总输出的音频流会话ID。一般情况下音效驱动就要加载到这个流上，才可以对系统内所有的声音做处理(包括音视频播放器、游戏、铃声等)。
同样的，每一个SoundFX在加载时/后都有很多配置参数和控制权的优先级。而完成对SoundFX的加载就需要一个控制程序。控制程序一般由Java语言在Eclipse中实现，通俗的说控制程序就是一个Android的apk程序。SoundFX可以理解为Windows系统里的底层混合器，控制程序可以理解为Windows的控制面板，在控制面板上控制SoundFX的加载和启动，各个参数的设置等。当一个控制程序启动后，它首先要做的事情就是按照OpenSLES框架来通知系统加载一个SoundFX到一个媒体流，然后通过UI交互来启用/禁用该SoundFX，同时根据UI来控制SoundFX的参数，当退出时也需要通知系统卸载该SoundFX。

2、从哪开始？
因为Android规定SoundFX必须基于OpenSLES，所以最先要做的事情就是选择一个效果器的类型。这是为什么呢？到底是什么意思呢？OpenSLES规定一个效果器要有两个必须的条件，一个是该效果器的类型，一个是该效果器的唯一识别码。这两个东西在C/C++语言中是按照GUID结构体来存储的(GUID是什么？找度娘)。
其中类型的GUID是OpenSLES定死的，音量(SL_IID_VOLUME)、采样率控制(SL_IID_PLAYBACKRATE)、均衡器(SL_IID_EQUALIZER)、预设混响(SL_IID_PRESETREVERB)、环境混响(SL_IID_ENVIRONMENTALREVERB)、3D定位(SL_IID_3DLOCATION)、多普勒效应(SL_IID_3DDOPPLER)、低音增强(SL_IID_BASSBOOST)、升降调(SL_IID_PITCH)、虚拟化(SL_IID_VIRTUALIZER)。这里没有你想要的？你想自定义？什么，你要做一个高音增强？无论做什么，都得在这里面选一个。为了简单一点，那就选虚拟化吧，虚拟化只有一个固定参数。(这里没看明白？那就把整个教程都看完，相信看到最后你会明白的)
下一步是生成一个自己独一无二的GUID来给自己的SoundFX命名。生成的办法有很多，有现成软件也有网页。这里我生成的是{42C6510E-1811-4857-8CA5-C204A8A3B0D4}。
以上提及的详细内容和编程指导请阅读Android NDK\platforms\android-14\arch-arm\usr\include\SLES\OpenSLES.h。(Android 4.0对应android

‘陆’ webrtc ios 噪音怎么处理

webrtc ios 噪音处理推荐使用ZEGO即构科技。ZEGO即构科技毫秒级音视频互动，千万级高并发，70%丢包下仍能保障稳定流畅的观看体验。 【点击免费试用，0成本启动】

方法/步骤
1 ，右击桌面右下角的“喇叭”图标，点击“录音设备”。
2 ，这是出现一个“麦克风”设备，右击“麦克风”，点击“属性”。
3 ，“麦克风属性”在“侦听”中，找到“侦听此设备”，若打钩，把钩去掉
4 ，再点击“级别”，把“麦克风加强”调为0.0dB。
可以适度调节麦克风音量。
5 ，在“增强”中，选择“禁用所有声音效果”。
6 ，最后再在“高级”中，找到“独占模式”，在它下边有两个选项，全部打钩。
分别是“允许应用程序独占控制该设备”“给与独占模式应用程序优先”。还可以调下“默认格式”。

想要了解更多关于webrtc的相关信息，推荐咨询ZEGO即构科技。公司自成立伊始，就专注自研音视频引擎，在音频前处理、网络自适应和跨平台兼容性等方面，达到国际一流水平，同时充分利用基础云服务商的能力，构建了MSDN海量有序自学习数据网络，服务覆盖全球，涵盖上百个音视频互动业务场景。

‘柒’ Android音视频【十二】使用OpenSLES和AudioTrack进行播放PCM

本节我们学习下如何播放pcm数据，在Android中有两种方法：一种是使用java层的 AudioTrack 方法，一种是使用底层的 OpenSLES 直接在 jni 层调用系统的 OpenSLES的c方法 实现。

两种使用场景不一样：
AudioTrack 一般用于 比如本地播放一个pcm文件/流，又或者播放解码后的音频的pcm流，API较简单。
OpenSLES 一般用于一些播放器中开发中，比如音频/视频播放器，声音/音频的播放采用的OpenSLES，一是播放器一般是c/c++实现，便于直接在c层调用OpenSLES的API，二也是如果用AudioTrack进行播放，务必会带来java和jni层的反射调用的开销，API较复杂。

可以根据业务自行决定来进行选择。

AudioTrack的方式使用较简单，直接在java层。

指定采样率，采样位数，声道数进行创建。

其中44100是采样率， AudioFormat.CHANNEL_OUT_STEREO 为双声道，还有 CHANNEL_OUT_MONO 单声道。 AudioFormat.ENCODING_PCM_16BIT 为采样位数16位，还有 ENCODING_PCM_8BIT 8位。 minBufferSize 是播放器缓冲的大小，也是根据采样率和采样位数，声道数 进行获取，只有满足最小的buffer才去操作底层进程播放。

最后一个参数mode。可以指定的值有 AudioTrack.MODE_STREAM 和 AudioTrack.MODE_STATIC 。

MODE_STREAM 适用于大多数的场景，比如动态的处理audio buffer，或者播放很长的音频文件，它是将audio buffers从java层传递到native层。音频播放时音频数据从Java流式传输到native层的创建模式。

MODE_STATIC 适用场景，比如播放很短的音频，它是一次性将全部的音频资源从java传递到native层。音频数据在音频开始播放前仅从Java传输到native层的创建模式。

是的，就这么一个方法。注意此方法是同步方法，是个耗时方法，一般是开启一个线程循环调用 write 方法进行写入。
注意在调用 write 方法前需要调用 audioTrack.play() 方法开始播放。

因为是pcm裸数据，无法像mediaplayer一样提供了API。所以需要自己处理下。可以利用 getPlaybackHeadPosition 方法。

getPlaybackHeadPosition() 的意思是返回以帧为单位表示的播放头位置
getPlaybackRate() 的意思是返回以Hz为单位返回当前播放采样率。

所以当前播放时间可以通过如下方式获取

OpenSLES:（Open Sound Library for Embedded Systems）.
OpenSLES是跨平台是针对嵌入式系统精心优化的硬件音频加速API。使用OpenSLES进行音频播放的好处是可以不依赖第三方。比如一些音频或者视频播放器中都是用OpenSLES进行播放解码后的pcm的，这样免去了和java层的交互。

在Android中使用OpenSLES首先需要把Android 系统提供的so链接到外面自己的so。在CMakeLists.txt脚本中添加链接库OpenSLES。库的名字可以在 类似如下目录中

需要去掉lib

然后导入头文件即可使用了OpenSLES提供的底层方法了。

创建&使用的步骤大致分为：

一个 SLObjectItf 里面可能包含了多个Interface，获取Interface通过 GetInterface 方法，而 GetInterface 方法的地2个参数 SLInterfaceID 参数来指定到的需要获取Object里面的那个Interface。比如通过指定 SL_IID_ENGINE 的类型来获取 SLEngineItf 。我们可以通过 SLEngineItf 去创建各种Object,例如播放器、录音器、混音器的Object,然后在用这些Object去获取各种Interface去实现各种功能。

如上所说，SLEngineItf可以创建混音器的Object。

在创建播放器前需要创建音频的配置信息（比如采样率，声道数，每个采样的位数等）

开始播放后会不断的回调这个 pcmBufferCallBack 函数将音频数据压入队列
(*pcmBufferQueue)->RegisterCallback(pcmBufferQueue, pcmBufferCallBack, this);

如果想要暂停播放参数直接设置为SL_PLAYSTATE_PAUSED，若暂停后继续播放设置参数为SL_PLAYSTATE_PLAYING即可。若想要停止播放参数设置为SL_PLAYSTATE_STOPPED即可。

首先获取播放器的用于控制音量的接口SLVolumeItf pcmVolumePlay

然后动态设置

首先也是获取播放器的用于控制音量的接口SLMuteSoloItf pcmMutePlay

然后动态设置

看起来控制还是蛮简单的哈。先熟悉这么多，OpenSLES还是蛮强大的。

https://github.com/ta893115871/PCMPlay