当手机不断地整合包括照相、游戏、数据、视频等各种功能于一身时，它已摇身变成一个多媒体应用的播放平台，可说是朝细致而微的随身型迷你计算机发展。在定位上，这样的手机有别于既有的纯粹语音的手机(Voice phone)或具备某些功能的手机(Feature phone)，而当属于智能型手机(Smart phone)。
智能型手机除了具有较强的数据编辑管理能力，更能提供音、视频、游戏等多媒体应用服务，也能同时处理多项工作。更进一步来看，它的功能面涵盖了通信、信息与多媒体功能，即：
1. 通信功能：语音、讯息(messaging)、认证(Authentication)、计费(Billing)等等通信处理功能;
2. 信息功能：Email、行事历、信息管理、Sync、安全性等信息处理功能;
3. 多媒体功能：视频、照相、游戏、TV、串流、音乐、DRM等多媒体应用功能;
除了信息功能外，在通信与多媒体的应用上，音频是必要的处理任务。在过去，手机只需要处理单纯的语音通话信号，但今日的智能型手机中得处理的音频任务繁重，除了多音调振铃、MP3音乐外，可能还要有FM广播及游戏音效，而且不能只是单声道的效果，现在要求的是立体声的临场感体验。
过去，数字音频的世界是截然两分的：一边是Hi-Fi的世界，另一边则是语音的世界。一般而言，Hi-Fi是指16bit立体声质量、以44.1kHz取样的音频，也就是CD音乐的规格;电话语音则是8bit和8kHz的单声道(mono)、低质量音频。不过，进入智能型手机的时代，两个音频世界开始撞击在一起了，如何将音频子系统完善地与应用及通信处理平台整合在一起，就成了便携式设备工程师开发新产品时的关键性挑战。
音频编码格式与接口
在进入系统架构的探讨前，先来看看音频编码的现状。目前音频编码的格式繁多，针对声音的编码就有PCM、ADPCM、DM、PWM、WMA、OGG、 AMR、ACC、MP3Pro以及MP3等;针对人类语音有LPC、CELP与ACELP等;其它还有MPEG-2、MPEG-4、H.264、VC-1 等视听节目的编码格式。
以下介绍三种常用的音频格式：
AMR格式
AMR为自适应多码率语音传输编译码器(Adpative Multi-Rate Speech Codec)，最初版是欧洲电信标准化协会(ETSI)为GMS系统所制定的语音编译码标准，而因频宽又分为两种—AMR-NB(AMR Narrowband)和AMR-WB(AMR Wideband)。以市场最大品牌Nokia来说，其多数手机都支持上述两种格式的音频文件。
MP3格式
MP3是MPEG AudioLayer3的缩写，这是一种音频压缩技术，其编码具有10:1-12:1的高压缩率，可以保持低频部分不失真，但牺牲了音频中12KHz -16KHz的高频部份来降低文件大小，其“.mp3”格式文件一般只有“.wav”的10%。另外，MP3受到欢迎的一大原因，是它并非受到版权保护的技术，所以任何人都可以使用。
MP3格式压缩音乐的取样频率有很多种，可以用64kbps或更低的编码来节省空间，亦可以用到 320kbps达到极高的压缩音质。MP3在编码速率上，又分为"CBR"(固定编码)，与及“VBR”(可变码率)技术，有些手机无法播放下载来的音乐，正是因为没有支持“VBR”格式的MP3音乐。
AAC格式
AAC即高级音频编码(Advanced Audio Coding)，它采用的运算方式是与MP3不同，AAC可以同时支持多达48个音轨、15个低频音轨、更多种取样率和传输率、具有多种言语的兼容能力，以及更高的解码效率。总结来说，AAC可以在比MP3格式再缩小30%的条件下提供更好的音质，而且声音保真度好，更接近原音，所以被手机界视为是最佳的音频编码格式。AAC是一个大家族，他们是共分为9种规格，以适应不同场合的需要：
(1) MPEG-2AAC LC 低复杂度规格 (Low Complexity)
(2) MPEG-2 AAC Main 主规格
(3) MPEG-2 AAC SSR 可变取样率规格 (Scaleable Sample Rate)
(4) MPEG-4 AAC LC低复杂度规格(LowComplexity)，现在的手机比较常见的MP4档中的音频部份就包括了该规格音频文件
(5) MPEG-4AAC Main 主规格
(6) MPEG-4 AAC SSR 可变取样率规格 (Scaleable Sample Rate)
(7) MPEG-4 AAC LTP长时期预测规格(Long Term Prediction)
(8) MPEG-4 AAC LD低延迟规格(Low Delay)
(9) MPEG-4 AAC HE高效率规格(High Efficiency
上述的规格中，主规格(Main)包含了增益控制以外的全部功能，其音质是最好，而低复杂度规格(LC)则是比较简单，没有了增益控制，但提高了编码效率，至于SSR与LC规格大致相同，但是多了增益的控制功能，另外，LTP/LD/HE都是用在低码率下的编码，其中HE采用NeroACC编码器支持，是近来常用的一种编码率方式。不过一般来说，Main规格和LC规格的音质相差不大，因此考虑手机目前的内存仍有限的情况下，目前使用最多的AAC规格是 LC规格。
音频接口
音频接口是智能型手机设计者需考虑的重要议题。数字语音一般采用PCM(Pulse Code Modulation)接口，而Hi-Fi立体声则采用串行I2S(Inter-IC Sound)接口或AC97接口。I2S是飞利浦公司为数字音频设备之间的音频数据传输而制定的一种总线标准，是目前消费性音频产品中常用的接口;AC?7则是英特尔公司用于提升个人计算机音效、降低噪音的规格，由于在1997年制订，因此称为AC97。
因此，为特定应用而量身定制一套整合性的解决方案是较理想的作法。在SoC的技术趋势下，已有一些厂商将立体声数字模拟转换器(DAC)或编译码器(CODEC)整合到特定功能的IC当中。不过，有些功能适合整合在一起，有些则可能得到反效果。
举例来说，当厂商将电源管理和音频处理功能整合在一起时，通常得在音质的部分做妥协，因为电源稳压器(regulator) 所产生的噪音会干扰到附近的音频路径;若将音频功能整合到数字IC中也有困难，因为对于Hi-Fi的组件来说，需要用到0.35mm的工艺来让混合讯号处理得到最佳化效能，但目前数字逻辑方面的应用已朝0.18mm以下的更高工艺发展。以上述两种整合性的芯片策略来说，要让两种不同的电路同时存在于一个芯片当中，其最终的芯片尺寸可能也会大到难以接受。
此外，扬声器功率放大机(louDSPeaker amplifier)特别难被整合。它所产生的热是一个问题，需要做散热处理，因此往往需要另一颗独立的扬声器驱动IC。还有一个整合上的常见问题，也就是为了让IC尽量做到最小化，可能会产生模拟输入或输出接脚数目不足的问题。
专属的音频IC可避免这些问题，而音频整合有好几种方法可以达成。共享ADC和DAC能减少硬件成本，但却不能同时播放或录制两种音频流格式。为个别功能安排专用的转换器(converter)可以解决这个问题，不过，此一作法会增加芯片成本。折中的作法是只共享ADC的部分，但有独立的DAC，这样做的话，当电话通信在进行时，也同时可以播放其它音频(如播放另一通电话的铃声，或播放音乐)，但在通信时不能同时进行录音。ADC的耗电可以通过关掉一种功能，而以较低取样速率的方式来加以控制。因此，为特定应用而量身定制一套整合性的解决方案是较理想的作法。在SoC的技术趋势下，已有一些厂商将立体声数字模拟转换器(DAC)或编译码器(CODEC)整合到特定功能的IC当中。不过，有些功能适合整合在一起，有些则可能得到反效果。
举例来说，当厂商将电源管理和音频处理功能整合在一起时，通常得在音质的部分做妥协，因为电源稳压器(regulator) 所产生的噪音会干扰到附近的音频路径;若将音频功能整合到数字IC中也有困难，因为对于Hi-Fi的组件来说，需要用到0.35mm的工艺来让混合讯号处理得到最佳化效能，但目前数字逻辑方面的应用已朝0.18mm以下的更高工艺发展。以上述两种整合性的芯片策略来说，要让两种不同的电路同时存在于一个芯片当中，其最终的芯片尺寸可能也会大到难以接受。
此外，扬声器功率放大机(loudspeaker amplifier)特别难被整合。它所产生的热是一个问题，需要做散热处理，因此往往需要另一颗独立的扬声器驱动IC。还有一个整合上的常见问题，也就是为了让IC尽量做到最小化，可能会产生模拟输入或输出接脚数目不足的问题。
专属的音频IC可避免这些问题，而音频整合有好几种方法可以达成。共享ADC和DAC能减少硬件成本，但却不能同时播放或录制两种音频流格式。为个别功能安排专用的转换器(converter)可以解决这个问题，不过，此一作法会增加芯片成本。折中的作法是只共享ADC的部分，但有独立的DAC，这样做的话，当电话通信在进行时，也同时可以播放其它音频(如播放另一通电话的铃声，或播放音乐)，但在通信时不能同时进行录音。ADC的耗电可以通过关掉一种功能，而以较低取样速率的方式来加以控制。
在计算机的音频需求上，基本上与消费性市场相似，但为了要能播放不同取样速率(8kHz、44.1kHz、48kHz)下录音的音乐文件，所以需要有更有效率和便宜的解决方案，而AC97就具有这样的特性。在广义的手持式设备市场中，三种格式各有其拥护者：CD、MD、MP3随身听会采用I2S接口;移动电话会采用PCM接口;具音频功能的PDA则使用和PC一样的AC97编码格式。
音频系统整合策略
在较早的系统中，通常是将电话与PDA的电路并排放在这个设备外壳内，其中PCM语音编译码由通信处理器来控制，Hi-Fi立体声(AC?7或I2S) 的处理则连到另一颗应用处理器。在此架构中，两个音频子系统之间的整合性还很低，分布式的硬件切换电路除了较占空间、需要额外的外围组件来做信号交换和混音外，也会带来谐波失真(harmonic distortion)等的问题。
因此，为特定应用而量身定制一套整合性的解决方案是较理想的作法。在SoC的技术趋势下，已有一些厂商将立体声数字模拟转换器(DAC)或编译码器(CODEC)整合到特定功能的IC当中。不过，有些功能适合整合在一起，有些则可能得到反效果。
举例来说，当厂商将电源管理和音频处理功能整合在一起时，通常得在音质的部分做妥协，因为电源稳压器(regulator) 所产生的噪音会干扰到附近的音频路径;若将音频功能整合到数字IC中也有困难，因为对于Hi-Fi的组件来说，需要用到0.35mm的工艺来让混合讯号处理得到最佳化效能，但目前数字逻辑方面的应用已朝0.18mm以下的更高工艺发展。以上述两种整合性的芯片策略来说，要让两种不同的电路同时存在于一个芯片当中，其最终的芯片尺寸可能也会大到难以接受。
此外，扬声器功率放大机(louDSPeaker amplifier)特别难被整合。它所产生的热是一个问题，需要做散热处理，因此往往需要另一颗独立的扬声器驱动IC。还有一个整合上的常见问题，也就是为了让IC尽量做到最小化，可能会产生模拟输入或输出接脚数目不足的问题。
专属的音频IC可避免这些问题，而音频整合有好几种方法可以达成。共享ADC和DAC能减少硬件成本，但却不能同时播放或录制两种音频流格式。为个别功能安排专用的转换器(converter)可以解决这个问题，不过，此一作法会增加芯片成本。折中的作法是只共享ADC的部分，但有独立的DAC，这样做的话，当电话通信在进行时，也同时可以播放其它音频(如播放另一通电话的铃声，或播放音乐)，但在通信时不能同时进行录音。ADC的耗电可以通过关掉一种功能，而以较低取样速率的方式来加以控制。
以下针对音频系统中的几个重要组成进行规划上的分析：
频率与接口
共享通信与应用子系统的内部电路虽然可行，但对于接口来说并非如此，因为不同的音频应用得在独立的频率区域中以自己的频率来运作。只要情况仍是如此，整合性智能型手机的CODEC就需要同时有PCM接口和独立的I2S或AC97连结接口。
在非移动性的设备(如PC)中，音频频率通常由一个石英振荡器(crystal oscillator)来产生，但在智能型手机的设计中，为了避免额外的耗电、板面空间和频率芯片的成本，设计者偏向于将Hi-Fi音频所需的频率功能从既有的频率中独立出来。由于低耗电、低噪音的锁相回路(PLL)能被以相对较低成本整合到混合讯号芯片当中，所以今日芯片厂商的作法是将一颗或两颗PLL 整合到他们的智能型手机CODEC中。
麦克风
在智能型手机中最难的设计议题，往往与麦克风(Mic)有关。一般来说至少有两个麦克风需要考虑：一是内建的内部麦克风和插入耳机(headset)的外部麦克风。此外，可能还会有用于噪音消除(noise cancellation)或立体声录音的额外内部麦克风，以及车用免提功能所需要的另一个外部麦克风。除了讲话外，这些麦克风也能透过应用处理器的控制来录制语音短讯或视频短片中的音效。
若要由音频CODEC芯片来涵盖各种切换功能，此芯片的电路需要做好妥善的设计。除了录音功能，CODEC也应提供侧音(side tone)的功能，这样一来耳机用户也能听到自己的声音。插入侦测功能则能提供无缝的切换功能，也就是当耳机插入或拔出时，系统会自动转换使用内部或外部的耳机。
人声(acoustic)的噪噪音消除是另一个问题，它需要用到两个麦克风，一个同时接收讲话的声音和背景噪音，另一个则只接收背景噪音。模拟的作法往往不足够，因此需要透过数字信号处理来加强，而音频CODEC需达成两个麦克风讯号的数字化任务。
另一个问题是室外风声噪印的问题，它的频率通常低于200Hz，因此透过高通(high-pass)滤波器就能处理掉，但这样一来，在室内录音时就少了低频部分的声音。对于两用的麦克风来说，这个过滤器应该是可选用的，但很多的音频ADC中都已内建了这颗high-pass滤波器，因此，手机厂商应针对需求选择合用的解决方案。
外接耳机
手机外接耳机(headset/headphone)的使用也需要特殊的模拟电路，也就是当耳机插入时，音频输出信号就能绕径到耳机上头。虽然整合机械性开关的插槽(socket)能够满足此要求，但它的尺寸过大且昂贵;此外，扬声器的音量大小可能也不适合这个耳机。为内部与外部音频提供独立的音量控制可以解决此问题，而且也能使用较简单的插槽设计。这一外接耳机是否具有麦克风也需要被侦测出来，这可以通过是否感测到偏流(bias current)来分辨，如果没有电流流动，那就表示没有麦克风被插入。智能型手机的音频CODEC中应加入这一电流传感器，进而能因应不同情况达成音频输入输出的处理。
扬声器
智能电话在先后增加了多音调振铃、MP3播放及FM广播等功能后，其播音系统也朝向立体声扬声器来发展。在手机扬声器的设计上，主要的问题是配置架构、功率与耗电性的考虑。若要支持立体声，手机需要有两个外部扬声器，但由于手机体积太小，这两个扬声器的位置难以拉开，所以立体声的效果不易展现，这时就需要采用特殊的3D效果处理。若是要支持免持听筒的功能，那就需要连结到另一个较大的扬声器上。为个别扬声器提供专属的模拟输出是最好的方式，但电源管理上必须有相应改变。
由于扬声器功率放大器会用掉大量的供电，当它们不使用时关掉电源是很重要的。智能型手机的音频CODEC能提供一些电源管理功能，为个别扬声器的输出做好开关管理，这样一来能避免不需要的电源消耗。此外，系统电源管理方案中的电压稳压器通常无法为扬声器提供达到最大音量所需的功率，因此CODEC芯片厂商采用加入芯片内扬声器的作法，也就是直接通过电池来驱动扬声器。这样做虽然不见得能降低耗电，但它也省下了对额外电压稳压器的需求。
铃声
近几年来，手机铃声愈来愈复杂，从单纯的响铃，到和弦铃声，再到各种声音都能制作成立体声的WAV和MP3格式。MIDI已成了和弦铃声的标准格式，很多厂商为这一应用推出专属的低耗电MIDI芯片。要在音频次系统中整合MIDI芯片，CODEC上需要有额外的模拟输入。
这些额外的输入对于FM收音机IC的连结也是有用的，能为多媒体应用提供附加功能。MIDI音频的产生当然也能由音频CODEC来产生，但现今市场的趋势是以特殊的铃声文件来储存，并通过现存的Hi-Fi DAC来播放，欠缺MIDI软件库的CODEC芯片厂商并不会积极去做这件事情。
结语
智能型手机的下一步会如何?就Hi-Fi的立体声来说，俨然已是必备的系统功能，至于I2S与AC97在手机音频系统上的竞争仍然会继续下去。有些人喜欢较单纯的I2S界面，但也有人更中意低引脚数和很容易可跑不同取样速率的AC97。以智能型手机来说，目前多数低耗电的处理器对两种规格都支持，看来两者还是会并存下去。不过，对于CODEC的厂商来说，要同时支持两项规格是比较困难的，因为AC97的VRA(variable rate audio)功能需要和I2S不同的频率架构，也需要多出许多额外的数字电路才能做到。
不过，智能型手机还会不会如PC世界一样，从立体声走向多声道的环绕音效格式(Intel的Azalia)呢?在近期内还看不出这样的可能性，因为今日的多声道效果虽然很炫，但芯片的成本和耗电性都还太高，这不是手机世界所能接受的。但今日否定的答案，在未来的电子世界仍存在很大的变量，没有人能说得准的。