import{S as Re,i as Ye,s as xe,e as n,k as y,w as Z,t as r,M as Fe,c as M,d as e,m as U,a as t,x as R,h as i,b as w,G as a,g as o,y as Y,L as Ge,q as x,o as F,B as G,v as We}from"../../chunks/vendor-hf-doc-builder.js";import{I as Xe}from"../../chunks/IconCopyLink-hf-doc-builder.js";import{C as rs}from"../../chunks/CodeBlock-hf-doc-builder.js";function Oe(ce){let d,is,j,J,W,I,Qs,X,Bs,ys,b,Ns,Us,p,_s,O,zs,ks,A,Vs,Zs,$,Rs,Ys,ps,S,xs,cs,D,Fs,us,c,L,P,Gs,Ws,H,K,Xs,Os,ss,es,$s,ds,v,Ls,js,Q,Ps,Js,T,Hs,as,Ks,se,Ts,h,ms,B,ee,Cs,m,ae,ls,le,oe,ws,g,Is,N,os,ne,As,q,hs,u,Me,ns,te,re,Ms,ie,ye,gs,E,qs,_,ts,Ue,Es,f,fs,z,pe,bs;return I=new Xe({}),h=new rs({props:{code:"Z2lnYXNwZWVjaCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJzcGVlY2hjb2xhYiUyRmdpZ2FzcGVlY2glMjIlMkMlMjAlMjJ4cyUyMiUyQyUyMHN0cmVhbWluZyUzRFRydWUp",highlighted:'gigaspeech = load_dataset(<span class="hljs-string">&quot;speechcolab/gigaspeech&quot;</span>, <span class="hljs-string">&quot;xs&quot;</span>, streaming=<span class="hljs-literal">True</span>)'}}),g=new rs({props:{code:"bmV4dChpdGVyKGdpZ2FzcGVlY2glNUIlMjJ0cmFpbiUyMiU1RCkp",highlighted:'<span class="hljs-built_in">next</span>(<span class="hljs-built_in">iter</span>(gigaspeech[<span class="hljs-string">&quot;train&quot;</span>]))'}}),q=new rs({props:{code:"JTdCJTBBJTIwJTIwJTIwJTIwJTIyc2VnbWVudF9pZCUyMiUzQSUyMCUyMllPVTAwMDAwMDAzMTVfUzAwMDA2NjAlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJzcGVha2VyJTIyJTNBJTIwJTIyTiUyRkElMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJ0ZXh0JTIyJTNBJTIwJTIyQVMlMjBUSEVZJ1JFJTIwTEVBVklORyUyMCUzQ0NPTU1BJTNFJTIwQ0FOJTIwS0FTSCUyMFBVTEwlMjBaQUhSQSUyMEFTSURFJTIwUkVBTExZJTIwUVVJQ0tMWSUyMCUzQ1FVRVNUSU9OTUFSSyUzRSUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMmF1ZGlvJTIyJTNBJTIwJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIycGF0aCUyMiUzQSUyMCUyMnhzX2NodW5rc18wMDAwJTJGWU9VMDAwMDAwMDMxNV9TMDAwMDY2MC53YXYlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJhcnJheSUyMiUzQSUyMGFycmF5KCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU1QjAuMDAwNTE4OCUyQyUyMDAuMDAwODU0NDklMkMlMjAwLjAwMDEyMjA3JTJDJTIwLi4uJTJDJTIwMC4wMDEyNTEyMiUyQyUyMDAuMDAwNzYyOTQlMkMlMjAwLjAwMDM2NjIxJTVEJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwKSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnNhbXBsaW5nX3JhdGUlMjIlM0ElMjAxNjAwMCUyQyUwQSUyMCUyMCUyMCUyMCU3RCUyQyUwQSUyMCUyMCUyMCUyMCUyMmJlZ2luX3RpbWUlMjIlM0ElMjAyOTQxLjg5JTJDJTBBJTIwJTIwJTIwJTIwJTIyZW5kX3RpbWUlMjIlM0ElMjAyOTQ1LjA3JTJDJTBBJTIwJTIwJTIwJTIwJTIyYXVkaW9faWQlMjIlM0ElMjAlMjJZT1UwMDAwMDAwMzE1JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIydGl0bGUlMjIlM0ElMjAlMjJSZXR1cm4lMjB0byUyMFZhc3NlbGhlaW0lMjAlN0MlMjBDcml0aWNhbCUyMFJvbGUlM0ElMjBWT1glMjBNQUNISU5BJTIwJTdDJTIwRXBpc29kZSUyMDQzJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIydXJsJTIyJTNBJTIwJTIyaHR0cHMlM0ElMkYlMkZ3d3cueW91dHViZS5jb20lMkZ3YXRjaCUzRnYlM0R6cjJuMWZMVmFzVSUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnNvdXJjZSUyMiUzQSUyMDIlMkMlMEElMjAlMjAlMjAlMjAlMjJjYXRlZ29yeSUyMiUzQSUyMDI0JTJDJTBBJTIwJTIwJTIwJTIwJTIyb3JpZ2luYWxfZnVsbF9wYXRoJTIyJTNBJTIwJTIyYXVkaW8lMkZ5b3V0dWJlJTJGUDAwMDQlMkZZT1UwMDAwMDAwMzE1Lm9wdXMlMjIlMkMlMEElN0Q=",highlighted:`{
    <span class="hljs-string">&quot;segment_id&quot;</span>: <span class="hljs-string">&quot;YOU0000000315_S0000660&quot;</span>,
    <span class="hljs-string">&quot;speaker&quot;</span>: <span class="hljs-string">&quot;N/A&quot;</span>,
    <span class="hljs-string">&quot;text&quot;</span>: <span class="hljs-string">&quot;AS THEY&#x27;RE LEAVING &lt;COMMA&gt; CAN KASH PULL ZAHRA ASIDE REALLY QUICKLY &lt;QUESTIONMARK&gt;&quot;</span>,
    <span class="hljs-string">&quot;audio&quot;</span>: {
        <span class="hljs-string">&quot;path&quot;</span>: <span class="hljs-string">&quot;xs_chunks_0000/YOU0000000315_S0000660.wav&quot;</span>,
        <span class="hljs-string">&quot;array&quot;</span>: <span class="hljs-built_in">array</span>(
            <span class="hljs-selector-attr">[0.0005188, 0.00085449, 0.00012207, ..., 0.00125122, 0.00076294, 0.00036621]</span>
        ),
        <span class="hljs-string">&quot;sampling_rate&quot;</span>: <span class="hljs-number">16000</span>,
    },
    <span class="hljs-string">&quot;begin_time&quot;</span>: <span class="hljs-number">2941.89</span>,
    <span class="hljs-string">&quot;end_time&quot;</span>: <span class="hljs-number">2945.07</span>,
    <span class="hljs-string">&quot;audio_id&quot;</span>: <span class="hljs-string">&quot;YOU0000000315&quot;</span>,
    <span class="hljs-string">&quot;title&quot;</span>: <span class="hljs-string">&quot;Return to Vasselheim | Critical Role: VOX MACHINA | Episode 43&quot;</span>,
    <span class="hljs-string">&quot;url&quot;</span>: <span class="hljs-string">&quot;https://www.youtube.com/watch?v=zr2n1fLVasU&quot;</span>,
    <span class="hljs-string">&quot;source&quot;</span>: <span class="hljs-number">2</span>,
    <span class="hljs-string">&quot;category&quot;</span>: <span class="hljs-number">24</span>,
    <span class="hljs-string">&quot;original_full_path&quot;</span>: <span class="hljs-string">&quot;audio/youtube/P0004/YOU0000000315.opus&quot;</span>,
}`}}),E=new rs({props:{code:"Z2lnYXNwZWVjaF9oZWFkJTIwJTNEJTIwZ2lnYXNwZWVjaCU1QiUyMnRyYWluJTIyJTVELnRha2UoMiklMEFsaXN0KGdpZ2FzcGVlY2hfaGVhZCk=",highlighted:`gigaspeech_head = gigaspeech[<span class="hljs-string">&quot;train&quot;</span>].take(<span class="hljs-number">2</span>)
<span class="hljs-built_in">list</span>(gigaspeech_head)`}}),f=new rs({props:{code:" ",highlighted:`[
    {
        <span class="hljs-string">&quot;segment_id&quot;</span>: <span class="hljs-string">&quot;YOU0000000315_S0000660&quot;</span>,
        <span class="hljs-string">&quot;speaker&quot;</span>: <span class="hljs-string">&quot;N/A&quot;</span>,
        <span class="hljs-string">&quot;text&quot;</span>: <span class="hljs-string">&quot;AS THEY&#x27;RE LEAVING &lt;COMMA&gt; CAN KASH PULL ZAHRA ASIDE REALLY QUICKLY &lt;QUESTIONMARK&gt;&quot;</span>,
        <span class="hljs-string">&quot;audio&quot;</span>: {
            <span class="hljs-string">&quot;path&quot;</span>: <span class="hljs-string">&quot;xs_chunks_0000/YOU0000000315_S0000660.wav&quot;</span>,
            <span class="hljs-string">&quot;array&quot;</span>: array(
                [
                    <span class="hljs-number">0.0005188</span>,
                    <span class="hljs-number">0.00085449</span>,
                    <span class="hljs-number">0.00012207</span>,
                    ...,
                    <span class="hljs-number">0.00125122</span>,
                    <span class="hljs-number">0.00076294</span>,
                    <span class="hljs-number">0.00036621</span>,
                ]
            ),
            <span class="hljs-string">&quot;sampling_rate&quot;</span>: <span class="hljs-number">16000</span>,
        },
        <span class="hljs-string">&quot;begin_time&quot;</span>: <span class="hljs-number">2941.89</span>,
        <span class="hljs-string">&quot;end_time&quot;</span>: <span class="hljs-number">2945.07</span>,
        <span class="hljs-string">&quot;audio_id&quot;</span>: <span class="hljs-string">&quot;YOU0000000315&quot;</span>,
        <span class="hljs-string">&quot;title&quot;</span>: <span class="hljs-string">&quot;Return to Vasselheim | Critical Role: VOX MACHINA | Episode 43&quot;</span>,
        <span class="hljs-string">&quot;url&quot;</span>: <span class="hljs-string">&quot;https://www.youtube.com/watch?v=zr2n1fLVasU&quot;</span>,
        <span class="hljs-string">&quot;source&quot;</span>: <span class="hljs-number">2</span>,
        <span class="hljs-string">&quot;category&quot;</span>: <span class="hljs-number">24</span>,
        <span class="hljs-string">&quot;original_full_path&quot;</span>: <span class="hljs-string">&quot;audio/youtube/P0004/YOU0000000315.opus&quot;</span>,
    },
    {
        <span class="hljs-string">&quot;segment_id&quot;</span>: <span class="hljs-string">&quot;AUD0000001043_S0000775&quot;</span>,
        <span class="hljs-string">&quot;speaker&quot;</span>: <span class="hljs-string">&quot;N/A&quot;</span>,
        <span class="hljs-string">&quot;text&quot;</span>: <span class="hljs-string">&quot;SIX TOMATOES &lt;PERIOD&gt;&quot;</span>,
        <span class="hljs-string">&quot;audio&quot;</span>: {
            <span class="hljs-string">&quot;path&quot;</span>: <span class="hljs-string">&quot;xs_chunks_0000/AUD0000001043_S0000775.wav&quot;</span>,
            <span class="hljs-string">&quot;array&quot;</span>: array(
                [
                    <span class="hljs-number">1.43432617</span>e-03,
                    <span class="hljs-number">1.37329102</span>e-03,
                    <span class="hljs-number">1.31225586</span>e-03,
                    ...,
                    <span class="hljs-number">-6.10351562</span>e-05,
                    <span class="hljs-number">-1.22070312</span>e-04,
                    <span class="hljs-number">-1.83105469</span>e-04,
                ]
            ),
            <span class="hljs-string">&quot;sampling_rate&quot;</span>: <span class="hljs-number">16000</span>,
        },
        <span class="hljs-string">&quot;begin_time&quot;</span>: <span class="hljs-number">3673.96</span>,
        <span class="hljs-string">&quot;end_time&quot;</span>: <span class="hljs-number">3675.26</span>,
        <span class="hljs-string">&quot;audio_id&quot;</span>: <span class="hljs-string">&quot;AUD0000001043&quot;</span>,
        <span class="hljs-string">&quot;title&quot;</span>: <span class="hljs-string">&quot;Asteroid of Fear&quot;</span>,
        <span class="hljs-string">&quot;url&quot;</span>: <span class="hljs-string">&quot;http//www.archive.org/download/asteroid_of_fear_1012_librivox/asteroid_of_fear_1012_librivox_64kb_mp3.zip&quot;</span>,
        <span class="hljs-string">&quot;source&quot;</span>: <span class="hljs-number">0</span>,
        <span class="hljs-string">&quot;category&quot;</span>: <span class="hljs-number">28</span>,
        <span class="hljs-string">&quot;original_full_path&quot;</span>: <span class="hljs-string">&quot;audio/audiobook/P0011/AUD0000001043.opus&quot;</span>,
    },
]`}}),{c(){d=n("meta"),is=y(),j=n("h1"),J=n("a"),W=n("span"),Z(I.$$.fragment),Qs=y(),X=n("span"),Bs=r("Streaming datos de audio"),ys=y(),b=n("p"),Ns=r(`Uno de los mayores desaf\xEDos que se enfrenta con los conjuntos de datos de audio es su gran tama\xF1o. Un solo minuto de audio sin comprimir de calidad
de CD (44.1kHz, 16 bits) ocupa un poco m\xE1s de 5 MB de almacenamiento. Por lo general, un conjunto de datos de audio contiene horas de grabaciones.`),Us=y(),p=n("p"),_s=r(`En el ejemplo anterior usamos un subconjunto peque\xF1o de MIND-14, sin embargo, las bases de datos de audios suelen ser mucho mas extensas.
Por ejemplo, la partici\xF3n `),O=n("code"),zs=r("xs"),ks=r("(m\xE1s peque\xF1a) de "),A=n("a"),Vs=r("GigaSpeech de SpeechColab"),Zs=r(`
aunque solo contiene 10 horas de grabaciones, su tama\xF1o es mayor a los 13GB. \xBFQu\xE9 pasa entonces cuando queremos entrenar en subconjunto
m\xE1s grande? la partici\xF3n `),$=n("code"),Rs=r("xl"),Ys=r(` de este mismo dataset contiene 10,000 horas de datos para entrenamiento, cuyo tama\xF1o asciende a 1TB. Para la
mayoria de nosotros, este tama\xF1o excede las especificaiones de un disco duro tipico. \xBFNecesitamos comprar almacenamiento adicional? \xBFO hay alguna forma
de entrenar con estos conjuntos de datos sin restricciones de espacio en disco?`),ps=y(),S=n("p"),xs=r(`\u{1F917} Datasets resuelve este reto al ofrecer el modo de transmisi\xF3n (streaming). La transmisi\xF3n nos permite cargar los datos de forma
progresiva a medida que iteramos sobre el conjunto de datos. En lugar de descargar todo el conjunto de datos de una vez, cargamos el
conjunto de datos un ejemplo a la vez. Iteramos sobre el conjunto de datos, cargando y preparando ejemplos sobre la marcha cuando
se necesitan. De esta manera, solo cargamos los ejemplos que estamos utilizando y no los que no necesitamos.
Una vez que hemos terminado con un ejemplo, continuamos iterando sobre el conjunto de datos y cargamos el siguiente.`),cs=y(),D=n("p"),Fs=r("El modo de transmisi\xF3n tiene tres ventajas principales sobre el modo tradicional de descargar la base de datos completa:"),us=y(),c=n("ul"),L=n("li"),P=n("p"),Gs=r(`Espacio en disco: Los ejemplos son cargados en memoria uno a uno a medida que iteramos cobre el conjunto de datos. Ya que los datos
no son descargados localmente, no hay requerimientos de espacio de disco, por lo que puedes utilizar cualquier base de datos sin preocuparte
por el tama\xF1o.`),Ws=y(),H=n("li"),K=n("p"),Xs=r(`Descarga y tiempo de procesamiento: Las bases de datos de audios son extensas y necesitan una cantidad considerable de
tiempo para descargarse y procesarse. Con la funcionalidad de streaming, la carga y el procesamiento se hacen en la marcha,
lo que significa que puedes empezar a usar los audios tan pronto como el primer ejemplo este listo.`),Os=y(),ss=n("li"),es=n("p"),$s=r(`F\xE1cil experimentaci\xF3n: puedes experimentar con un subconjunto de ejemplos para verificar que tu script funciona sin tener
que descargar la base de datos completa.`),ds=y(),v=n("p"),Ls=r(`Existe un inconveniente en el modo de transmisi\xF3n. Cuando se descarga un conjunto de datos completo sin el modo de transmisi\xF3n,
tanto los datos en bruto como los datos procesados se guardan localmente en el disco. Si deseamos reutilizar este conjunto de datos,
podemos cargar directamente los datos procesados desde el disco, omitiendo los pasos de descarga y procesamiento. En consecuencia,
solo tenemos que realizar las operaciones de descarga y procesamiento una vez, despu\xE9s de lo cual podemos reutilizar los datos preparados.`),js=y(),Q=n("p"),Ps=r(`Con el modo de streaming, los datos no se descargan en el disco. De esta manera, tanto los datos descargados como los datos preprocesados
no se almacenan en cach\xE9. Si deseamos reutilizar el conjunto de datos, los pasos de transmisi\xF3n deben repetirse, cargando y procesando
los archivos de audio sobre la marcha nuevamente. Por esta raz\xF3n, se recomienda descargar las bases de datos que es probable que
se utilicen m\xFAltiples veces.`),Js=y(),T=n("p"),Hs=r("\xBFC\xF3mo se puede habilitar el modo de transmisi\xF3n? \xA1Es f\xE1cil! Simplemente pasa el par\xE1metro "),as=n("code"),Ks=r("streaming=True"),se=r(` al cargar tu conjunto de datos.
El resto lo hara Datasets:`),Ts=y(),Z(h.$$.fragment),ms=y(),B=n("p"),ee=r(`De la misma manera que se aplicaron los pasos de preprocesamiento al subconjunto descargado de MINDS-14, se puede aplicar a
un conjunto de datos en modo streaming.`),Cs=y(),m=n("p"),ae=r("La \xFAnica diferencia es que no puedes acceder a ejemplos individuales usando el indexado de Python (i.e. "),ls=n("code"),le=r('gigaspeech["train"][sample_idx]'),oe=r(`).
Al contrario, tienes que iterar sobre el conjunto de datos. A continuaci\xF3n puedes ver como se accede a un ejemplo del conjunto de datos
cuando se usa streaming:`),ws=y(),Z(g.$$.fragment),Is=y(),N=n("p"),os=n("strong"),ne=r("Output:"),As=y(),Z(q.$$.fragment),hs=y(),u=n("p"),Me=r("Si quiere previsualizar varios ejemplos de un gran conjunto de datos, usa "),ns=n("code"),te=r("take()"),re=r(` para obtener los primeros n ejemplos.
Obtengamos ahora
If you\u2019d like to preview several examples from a large dataset, use the `),Ms=n("code"),ie=r("take()"),ye=r(` to get the first n elements. Vamos a obtener
los primeros dos ejemplos en el conjunto de datos de Gigaspeech:`),gs=y(),Z(E.$$.fragment),qs=y(),_=n("p"),ts=n("strong"),Ue=r("Output:"),Es=y(),Z(f.$$.fragment),fs=y(),z=n("p"),pe=r(`El modo de transmisi\xF3n puede llevar tu investigaci\xF3n al siguiente nivel: no solo tendr\xE1s acceso a los conjuntos de datos m\xE1s grandes,
sino que tambi\xE9n podr\xE1s evaluar sistemas en m\xFAltiples conjuntos de datos de manera simult\xE1nea sin preocuparte por el espacio en disco.
En comparaci\xF3n con la evaluaci\xF3n en un solo conjunto de datos, la evaluaci\xF3n en m\xFAltiples conjuntos de datos proporciona una mejor
m\xE9trica para las capacidades de generalizaci\xF3n de un sistema de reconocimiento de voz (ver End-to-end Speech Benchmark, ESB).`),this.h()},l(s){const l=Fe('[data-svelte="svelte-1phssyn"]',document.head);d=M(l,"META",{name:!0,content:!0}),l.forEach(e),is=U(s),j=M(s,"H1",{class:!0});var Ss=t(j);J=M(Ss,"A",{id:!0,class:!0,href:!0});var ue=t(J);W=M(ue,"SPAN",{});var de=t(W);R(I.$$.fragment,de),de.forEach(e),ue.forEach(e),Qs=U(Ss),X=M(Ss,"SPAN",{});var je=t(X);Bs=i(je,"Streaming datos de audio"),je.forEach(e),Ss.forEach(e),ys=U(s),b=M(s,"P",{});var Je=t(b);Ns=i(Je,`Uno de los mayores desaf\xEDos que se enfrenta con los conjuntos de datos de audio es su gran tama\xF1o. Un solo minuto de audio sin comprimir de calidad
de CD (44.1kHz, 16 bits) ocupa un poco m\xE1s de 5 MB de almacenamiento. Por lo general, un conjunto de datos de audio contiene horas de grabaciones.`),Je.forEach(e),Us=U(s),p=M(s,"P",{});var C=t(p);_s=i(C,`En el ejemplo anterior usamos un subconjunto peque\xF1o de MIND-14, sin embargo, las bases de datos de audios suelen ser mucho mas extensas.
Por ejemplo, la partici\xF3n `),O=M(C,"CODE",{});var Te=t(O);zs=i(Te,"xs"),Te.forEach(e),ks=i(C,"(m\xE1s peque\xF1a) de "),A=M(C,"A",{href:!0,rel:!0});var me=t(A);Vs=i(me,"GigaSpeech de SpeechColab"),me.forEach(e),Zs=i(C,`
aunque solo contiene 10 horas de grabaciones, su tama\xF1o es mayor a los 13GB. \xBFQu\xE9 pasa entonces cuando queremos entrenar en subconjunto
m\xE1s grande? la partici\xF3n `),$=M(C,"CODE",{});var Ce=t($);Rs=i(Ce,"xl"),Ce.forEach(e),Ys=i(C,` de este mismo dataset contiene 10,000 horas de datos para entrenamiento, cuyo tama\xF1o asciende a 1TB. Para la
mayoria de nosotros, este tama\xF1o excede las especificaiones de un disco duro tipico. \xBFNecesitamos comprar almacenamiento adicional? \xBFO hay alguna forma
de entrenar con estos conjuntos de datos sin restricciones de espacio en disco?`),C.forEach(e),ps=U(s),S=M(s,"P",{});var we=t(S);xs=i(we,`\u{1F917} Datasets resuelve este reto al ofrecer el modo de transmisi\xF3n (streaming). La transmisi\xF3n nos permite cargar los datos de forma
progresiva a medida que iteramos sobre el conjunto de datos. En lugar de descargar todo el conjunto de datos de una vez, cargamos el
conjunto de datos un ejemplo a la vez. Iteramos sobre el conjunto de datos, cargando y preparando ejemplos sobre la marcha cuando
se necesitan. De esta manera, solo cargamos los ejemplos que estamos utilizando y no los que no necesitamos.
Una vez que hemos terminado con un ejemplo, continuamos iterando sobre el conjunto de datos y cargamos el siguiente.`),we.forEach(e),cs=U(s),D=M(s,"P",{});var Ie=t(D);Fs=i(Ie,"El modo de transmisi\xF3n tiene tres ventajas principales sobre el modo tradicional de descargar la base de datos completa:"),Ie.forEach(e),us=U(s),c=M(s,"UL",{});var k=t(c);L=M(k,"LI",{});var Ae=t(L);P=M(Ae,"P",{});var he=t(P);Gs=i(he,`Espacio en disco: Los ejemplos son cargados en memoria uno a uno a medida que iteramos cobre el conjunto de datos. Ya que los datos
no son descargados localmente, no hay requerimientos de espacio de disco, por lo que puedes utilizar cualquier base de datos sin preocuparte
por el tama\xF1o.`),he.forEach(e),Ae.forEach(e),Ws=U(k),H=M(k,"LI",{});var ge=t(H);K=M(ge,"P",{});var qe=t(K);Xs=i(qe,`Descarga y tiempo de procesamiento: Las bases de datos de audios son extensas y necesitan una cantidad considerable de
tiempo para descargarse y procesarse. Con la funcionalidad de streaming, la carga y el procesamiento se hacen en la marcha,
lo que significa que puedes empezar a usar los audios tan pronto como el primer ejemplo este listo.`),qe.forEach(e),ge.forEach(e),Os=U(k),ss=M(k,"LI",{});var Ee=t(ss);es=M(Ee,"P",{});var fe=t(es);$s=i(fe,`F\xE1cil experimentaci\xF3n: puedes experimentar con un subconjunto de ejemplos para verificar que tu script funciona sin tener
que descargar la base de datos completa.`),fe.forEach(e),Ee.forEach(e),k.forEach(e),ds=U(s),v=M(s,"P",{});var be=t(v);Ls=i(be,`Existe un inconveniente en el modo de transmisi\xF3n. Cuando se descarga un conjunto de datos completo sin el modo de transmisi\xF3n,
tanto los datos en bruto como los datos procesados se guardan localmente en el disco. Si deseamos reutilizar este conjunto de datos,
podemos cargar directamente los datos procesados desde el disco, omitiendo los pasos de descarga y procesamiento. En consecuencia,
solo tenemos que realizar las operaciones de descarga y procesamiento una vez, despu\xE9s de lo cual podemos reutilizar los datos preparados.`),be.forEach(e),js=U(s),Q=M(s,"P",{});var Se=t(Q);Ps=i(Se,`Con el modo de streaming, los datos no se descargan en el disco. De esta manera, tanto los datos descargados como los datos preprocesados
no se almacenan en cach\xE9. Si deseamos reutilizar el conjunto de datos, los pasos de transmisi\xF3n deben repetirse, cargando y procesando
los archivos de audio sobre la marcha nuevamente. Por esta raz\xF3n, se recomienda descargar las bases de datos que es probable que
se utilicen m\xFAltiples veces.`),Se.forEach(e),Js=U(s),T=M(s,"P",{});var Ds=t(T);Hs=i(Ds,"\xBFC\xF3mo se puede habilitar el modo de transmisi\xF3n? \xA1Es f\xE1cil! Simplemente pasa el par\xE1metro "),as=M(Ds,"CODE",{});var De=t(as);Ks=i(De,"streaming=True"),De.forEach(e),se=i(Ds,` al cargar tu conjunto de datos.
El resto lo hara Datasets:`),Ds.forEach(e),Ts=U(s),R(h.$$.fragment,s),ms=U(s),B=M(s,"P",{});var ve=t(B);ee=i(ve,`De la misma manera que se aplicaron los pasos de preprocesamiento al subconjunto descargado de MINDS-14, se puede aplicar a
un conjunto de datos en modo streaming.`),ve.forEach(e),Cs=U(s),m=M(s,"P",{});var vs=t(m);ae=i(vs,"La \xFAnica diferencia es que no puedes acceder a ejemplos individuales usando el indexado de Python (i.e. "),ls=M(vs,"CODE",{});var Qe=t(ls);le=i(Qe,'gigaspeech["train"][sample_idx]'),Qe.forEach(e),oe=i(vs,`).
Al contrario, tienes que iterar sobre el conjunto de datos. A continuaci\xF3n puedes ver como se accede a un ejemplo del conjunto de datos
cuando se usa streaming:`),vs.forEach(e),ws=U(s),R(g.$$.fragment,s),Is=U(s),N=M(s,"P",{});var Be=t(N);os=M(Be,"STRONG",{});var Ne=t(os);ne=i(Ne,"Output:"),Ne.forEach(e),Be.forEach(e),As=U(s),R(q.$$.fragment,s),hs=U(s),u=M(s,"P",{});var V=t(u);Me=i(V,"Si quiere previsualizar varios ejemplos de un gran conjunto de datos, usa "),ns=M(V,"CODE",{});var _e=t(ns);te=i(_e,"take()"),_e.forEach(e),re=i(V,` para obtener los primeros n ejemplos.
Obtengamos ahora
If you\u2019d like to preview several examples from a large dataset, use the `),Ms=M(V,"CODE",{});var ze=t(Ms);ie=i(ze,"take()"),ze.forEach(e),ye=i(V,` to get the first n elements. Vamos a obtener
los primeros dos ejemplos en el conjunto de datos de Gigaspeech:`),V.forEach(e),gs=U(s),R(E.$$.fragment,s),qs=U(s),_=M(s,"P",{});var ke=t(_);ts=M(ke,"STRONG",{});var Ve=t(ts);Ue=i(Ve,"Output:"),Ve.forEach(e),ke.forEach(e),Es=U(s),R(f.$$.fragment,s),fs=U(s),z=M(s,"P",{});var Ze=t(z);pe=i(Ze,`El modo de transmisi\xF3n puede llevar tu investigaci\xF3n al siguiente nivel: no solo tendr\xE1s acceso a los conjuntos de datos m\xE1s grandes,
sino que tambi\xE9n podr\xE1s evaluar sistemas en m\xFAltiples conjuntos de datos de manera simult\xE1nea sin preocuparte por el espacio en disco.
En comparaci\xF3n con la evaluaci\xF3n en un solo conjunto de datos, la evaluaci\xF3n en m\xFAltiples conjuntos de datos proporciona una mejor
m\xE9trica para las capacidades de generalizaci\xF3n de un sistema de reconocimiento de voz (ver End-to-end Speech Benchmark, ESB).`),Ze.forEach(e),this.h()},h(){w(d,"name","hf:doc:metadata"),w(d,"content",JSON.stringify($e)),w(J,"id","streaming-datos-de-audio"),w(J,"class","header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full"),w(J,"href","#streaming-datos-de-audio"),w(j,"class","relative group"),w(A,"href","https://huggingface.co/datasets/speechcolab/gigaspeech"),w(A,"rel","nofollow")},m(s,l){a(document.head,d),o(s,is,l),o(s,j,l),a(j,J),a(J,W),Y(I,W,null),a(j,Qs),a(j,X),a(X,Bs),o(s,ys,l),o(s,b,l),a(b,Ns),o(s,Us,l),o(s,p,l),a(p,_s),a(p,O),a(O,zs),a(p,ks),a(p,A),a(A,Vs),a(p,Zs),a(p,$),a($,Rs),a(p,Ys),o(s,ps,l),o(s,S,l),a(S,xs),o(s,cs,l),o(s,D,l),a(D,Fs),o(s,us,l),o(s,c,l),a(c,L),a(L,P),a(P,Gs),a(c,Ws),a(c,H),a(H,K),a(K,Xs),a(c,Os),a(c,ss),a(ss,es),a(es,$s),o(s,ds,l),o(s,v,l),a(v,Ls),o(s,js,l),o(s,Q,l),a(Q,Ps),o(s,Js,l),o(s,T,l),a(T,Hs),a(T,as),a(as,Ks),a(T,se),o(s,Ts,l),Y(h,s,l),o(s,ms,l),o(s,B,l),a(B,ee),o(s,Cs,l),o(s,m,l),a(m,ae),a(m,ls),a(ls,le),a(m,oe),o(s,ws,l),Y(g,s,l),o(s,Is,l),o(s,N,l),a(N,os),a(os,ne),o(s,As,l),Y(q,s,l),o(s,hs,l),o(s,u,l),a(u,Me),a(u,ns),a(ns,te),a(u,re),a(u,Ms),a(Ms,ie),a(u,ye),o(s,gs,l),Y(E,s,l),o(s,qs,l),o(s,_,l),a(_,ts),a(ts,Ue),o(s,Es,l),Y(f,s,l),o(s,fs,l),o(s,z,l),a(z,pe),bs=!0},p:Ge,i(s){bs||(x(I.$$.fragment,s),x(h.$$.fragment,s),x(g.$$.fragment,s),x(q.$$.fragment,s),x(E.$$.fragment,s),x(f.$$.fragment,s),bs=!0)},o(s){F(I.$$.fragment,s),F(h.$$.fragment,s),F(g.$$.fragment,s),F(q.$$.fragment,s),F(E.$$.fragment,s),F(f.$$.fragment,s),bs=!1},d(s){e(d),s&&e(is),s&&e(j),G(I),s&&e(ys),s&&e(b),s&&e(Us),s&&e(p),s&&e(ps),s&&e(S),s&&e(cs),s&&e(D),s&&e(us),s&&e(c),s&&e(ds),s&&e(v),s&&e(js),s&&e(Q),s&&e(Js),s&&e(T),s&&e(Ts),G(h,s),s&&e(ms),s&&e(B),s&&e(Cs),s&&e(m),s&&e(ws),G(g,s),s&&e(Is),s&&e(N),s&&e(As),G(q,s),s&&e(hs),s&&e(u),s&&e(gs),G(E,s),s&&e(qs),s&&e(_),s&&e(Es),G(f,s),s&&e(fs),s&&e(z)}}}const $e={local:"streaming-datos-de-audio",title:"Streaming datos de audio"};function Le(ce){return We(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class sa extends Re{constructor(d){super();Ye(this,d,Le,Oe,xe,{})}}export{sa as default,$e as metadata};
