Codificación electrónica

La codificación es una forma de estandarización que utiliza la representación de caracteres para transformar información de un idioma, lenguaje o representación hacia otro.

La codificación en si misma no es una forma de cifrar (proteger la información con una capa de seguridad indescifrable para un tercero), si no que es una puesta en mutuo acuerdo entre varias partes para que una información ininteligible en un formato lo sea en otro (humano generalmente).

Por los tiempos que corren en el momento de crear este artículo, se hablará principalmente de la codificación informática.

Código morse

Como ejemplo de codificación tenemos el código morse, el cual es un sistema de codificación para pasar entre puntos y líneas a alfabeto humano (sea cual sea el idioma);

Código morse estándar

El código morse estándar sigue el alfabeto latino y se encuentra estandarizado internacionalmente.

• Estándar internacional

El estándar internacional del morse lo define el “International Amateur Radio Union” (IARU)

Código morse no latino

El código morse no solamente se puede basar en el alfabeto latino, distintas culturas que no usan tal alfabeto tenian su propia codificación en tal sistema.

Ejemplo de esto sería el código morse para el alfabeto cirílico (idiioma ruso).

O el alifato (del idioma árabe, persa, urdu, entre otros)

Códigos de barras

El código de barras es un método de codificación para almacenar información humana en un formato de barras (de distinto grosor y espaciado).

Se almacena un dígito por cada barra. El tipo de esa barra y sus características es el tipo de información.

De esta manera se puede almacenar información en un espacio mucho más reducido.

Código QR

Un código QR (del inglés Quick Response code), es la evolución del código de barras. Es un módulo para almacenar información en una matriz de datos o en un código de barras bidimensional.

La estructura general de un código QR es una matriz bidimensional de módulos de dos colores contrastados, en principio blancos y negros. Hay varias versiones de códigos QR según la cantidad de módulos que forman la matriz: van desde la versión 1 (con una matriz de 21 x 21 módulos) hasta la versión 10 (con 177 x 177 módulos).

Las versiones de más módulos admiten mayor cantidad de información en el código. Los códigos más extendidos para el uso del público en general suelen ser los de 25 x 25 y de 29 x 29, para captura desde el teléfono móvil o celular en cualquier situación (paquetes de productos, folletos de mano, tarjetas o carteles de pared).

Una de las utilidades estructurales de los códigos QR es que no es imprescindible que lo formen módulos blancos y negros, sino que admite una cierta personalización bastante flexible (otros colores, degradados, etc.). No obstante, cuando se usan otros colores distintos de blanco y negro, es necesario que sean suficientemente contrastados (claro y oscuro), para que continúe siendo legible para los sistemas y programas de lectura de los códigos.

Codificación electrónica

Bits - Pasado y presente

En la electrónica no todo se puede guiar por la parte digital. En el transporte de datos por medios físicos se debe hacer uso de ‘pulsos’ eléctricos (sea cual sea el medio de transporte; cables coaxial, fibra óptica, ethernet, etc ) que deben cumplir una regla;

• Por encima de cierto umbral, se considera eso como un 1 (uno). Por debajo, se considera que no es un dato, si no una interferencia por ejemplo, y se considera un 0 (cero).

Esto es así por que; cuando se transmite un dato de forma analógica por un medio, se dan las situaciones en donde se varia la intensidad de acuerdo al elemento utilizado y a la cantidad del mismo así como su intensidad.

Vamos a poner un ejemplo;

• Cuando se transmite electrones (e), cada uno de esos electrones tiene siempre la misma carga eléctrica (−1,602 176 634 × 10−19) pero no es lo mismo que llegue al objetivo 50 e que 500x10^50 e (lo que se conoce como ‘amperaje’, como ya dijimos en la segunda sección de este libro).

  Si tenemos en cuenta que los electrones, en movimiento, generan campos magnéticos y se ven afectados por tales, esto termina ocasionando que en un sistema de transmisión de información físico analógico, dependiendo de la sensibilidad de los sensores, siempre se encuentre ciertos electrones que se están moviendo, por lo que para evitar estas interferencias (véase, ruido que no significa nada en términos de datos/información) se establece un umbral; de cierto voltaje para abajo se considera ruido y no un dato, a partir de cierto punto sí se considera un dato, y si se pasa de cierto valor se considera que puede ser otra interferencia de origen desconocido o una malfuncionalidad (como una descarga del proveedor o un PEM por una bomba o tormenta solar).

  

  A muy grandes rasgos, tenemos muchos ejemplos de este tipo de sistemas;

  1. Los telégrafos, inventados en 1874, usan un sistema de codificación para que un humano pueda transmitir mensajes de texto a codificación, y viceversa en el caso de los que son capaces de ir transcribiendo a un papel las marcas de los pulsos. Se usaba una codificación de 5 bits (véase, cinco pulsos eléctricos válidos son 1 dato) llamada código Baudot, por lo que si tenemos en cuenta que - como se dijo anteriormente - un bit es (a nivel eléctrico); cero o uno (osea 2 valores) entonces 2^5 = 32 caracteres/letras/signos diferentes que se podían transmitir.

     

  2. El teletipo, que nació como evolución del telégrafo en 1904, permitía ya de forma automatizada la codificación y decodicación de las señales eléctricas recibidas hacia el alfabeto latino. De esta manera se logró automatizar toda la codificación de señales eléctricas hacia un alafabeto humano y viceversa. Si usted alguna vez vió películas de la segunda guerra mundial (1-09-1939 a 02-09-1945) seguramente habrá visto máqunas de rotores que recibian y enviaban mensajes por mujeres especializadas en tal;

     

     

  3. Unos ejemplos más modernos lo tenemos en las redes actuales.

     1. Conexion de red hogareña

        Esto es así por que; ocurre una codificación electrónica cuando llegan pulsos electro-ópticos desde el proveedor de internet y son procesados por el modem/router. Así mismo, ocurre otra codificación electrónica cuando el modem/router genera una onda electromagnética del espectro de radio que es recibido por el dispositivo, haciendo otra codificación electrónica para pasar eso a bits y poder procesarlo digitalmente.

     2. Redes informáticas empresariales

        

        Lo mismo que las redes hogareñas, pero generalmente no suele haber ondas inalámbricas, si no todo se conecta por red ethernet (que es más estable y rápido que el Wifi) y muchos más dispositivos.

Codificación digital

Una vez que un dispositivo obtiene una serie de bits (ceros o unos) en un determinado orden, viene la siguiente parte del proceso;

¿cómo se procesa esto? ¿qué hacemos con esto? ¿qué significa estos datos? ¿cuántos bits son un dato? y ese dato como se procesa?

Para esto tenemos la codificación digital. Antes de pasar a eso, tenemos que entender la codificación de bits;

Una vez comprendido eso, la codificación digital consiste en que una vez recibida una señal eléctrica se transforme al sistema binario, sabiendo utilizar la codificación pre establecida para así determinar cuando se deben enviar a la CPU (la unidad central de procesamiento, ‘el procesador’) y cuando faltan datos (no confundir dato con información. Un dato es ‘algo’, mientras que información es un dato útil para un fin).

Como ejemplo de esto tenemos;

• Octal

  Es un estándar de codificación y decodificación. Establece que, utilizando un conjunto de base 8 (de cero a ocho) se pueden mostrar números en esa base. Al ser un sistema de numeración sirve para eso, números;

• Hexadecimal

  Es un estándar de codificación y decodificación. Establece que, utilizando un conjunto de 4 bits (véase; BITS no bytes), se codifica como un valor X en hexadecimal.

Por lo tanto, cuando se recibe estos datos;

010010000110111101101100011000010010000001001101011101010110111001100100011011110010110000100000011100110110111101111001001000000101001101101000011110010110000101101110010010100100110101000011

Si se utiliza la codificación hexadecimal quedaría;

486F6C61204D756E646F2C20736F7920536879616E4A4D43

Eso traspasado a ASCII es;

Hola Mundo, soy Shyanjmc

Entonces, ¿porqué es importante siempre usar la codificación correcta? Por que para el programa que recibe y procesa (decodifica) eso no es algo obvio que usar, si no que depende de la programación y del protocolo desde el que se recibe esa información. Por ejemplo, esa cadena de bits recibidos si se procesa directamente en ASCII y no en hexadecimal, se verá como;

�ÞØÂ@�è

Si usted se pregunta qué es el símbolo; “�” , es uno que utilizan los navegadores y los editores de texto para mostrar signos que decodificados en ASCII, ó UTF-8, dan un error.

Los valores en hexadecimal se representan con dos posibilidades;

1. 0x[XXXXXXX]

   Siendo [XXXXXXX] el valor hexadecimal y “0x” el indicativo de que es hexadecimal.

2. [XXXXXXX]h

   Siendo [XXXXXXX] el valor hexadecimal y “h” el indicativo de que es hexadecimal.

• ASCII (American Standard Code for Information Interchange)

  Es un sistema de codificación para caracteres basado en el alfabeto latino, creado en 1963 por el ANSI ( American National Standards Institute).

  Utiliza un esquema de 7 bits para representar los caracteres, pero hay otros varios estándares de codficación que le dan un octavo bit para que se puedan representar alfabetos no latino.

  Los primeros 32 dígitos son reservados como ‘caracteres de control’, véase; caracteres que no tienen la finalidad de ser representados en un alfabeto si no que son utilizados para controlar dispositivos físicos o virtuaes que usaban estos caracteres ASCII (como las impresoras, el terror de todo SysAdmin). De hecho cuando usted apreta el ‘Enter’ en realidad su teclado está enviando una serie de bits que son interpretados por su sistema como;

  ^M

  El ASCII de 7 bits queda de la siguiente manera;

Preste atención de que el primer bit (de izquierda a derecha) nunca se utiliza, quedando siempre en cero, esto es para que se pueda usar cada caracter del ASCII con 1 Byte (que recuerden que son 8 bits) y por ende, ser mejor manejados en todos los sistemas operativos.

Dependiendo del procesador usado, puede utilizar BIG Endian o LITTLE Endian, en donde leerá el orden de los bits de izquierda a derecha o viceversa.

• UTF-8 (Unicode Transformation Format)

  Es una evolución del ASCII y UTF-1. Fue creado por Robert C. Pike y Kenneth L. Thompson en 1992 para el sistema operativo Plan9.

  Es utilizado para representar los caracteres ‘Unicode’ (que incluyen desde todos los alfabetos hasta emojis).

  Está definido por el “RFC3629”, “ISO-10646” y posee las siguientes características;

  • Integra los 128 caracteres de ASCII, siendo así ASCII embebido dentro de UTF-8.
  • Duplica los bits usados por ASCII, quedando 16 bits, permitiendo muchos más alfabetos (griego, cirílico, armedio, hebreo, etc).
  • Triplica los bits usados por ASCII (que recuerde; utilizaba un solo byte), permitiendo que son el uso de 3 bytes (24 bits) se puedan representar todos los caracteres comunes en todos los idiomas mundiales.
  • Añade un 4to byte (quedando 32 bits) para poder representar; símbolos matemáticos, alfabetos de idiomas muertos (como alfabeto persa, fenicio, etc) y minoritarios (como al alfabeto Han).

  Ahora, teniendo 4 posibles de codificación diferentes, ¿cómo se hace para indicar cual usar? Bueno, los primeros bits de los bytes que se reciben determina cual usar;

Se debe tener en cuenta que Unicode-8 es GIGANTE por lo que acá solamente se deja una pequeña parte de todo el estándar, para ver la tabla completa, por favor vaya a la documentación.

• UTF-16 (UCS Transformation Format for 16 Planes of Group 00)

  No es una evolución de UTF-8 si no una de UCS-2 (otro estándar de codificación).

  Al igual que UTF-8, es utilizado para representar los caracteres ‘Unicode’ (que incluyen desde todos los alfabetos hasta emojis).

  Utiliza 16 bits mínimamente por caracter a representar, como UTF-8 utiliza mínimamente 8 bits.

  Para no sumergirnos más en la profunda madriguera de conejo, debido a que tendríamos que entrar con funciones matemáticas, lo dejaremos acá.

• Base64

  Este sistema de codificación-decodificación es excelente por un motivo; se utiliza principalmente para transmitir cualquier datos en red entre servidor-cliente sin poner en riesgo su integridad. Utiliza un sistema de 6 bits para definir a qué caracter se representa en el alfabeto latino.

  Se encuentra definido en el estándar “RFC-4648” con la siguiente tabla;

El símbolo de igualación (‘=’) es utilizado para marcar el final de la cadena de caracteres codificados en Base64. Es indicador de que eso último codificado no es múltiplo de 24 bits y por ende se añade al final el padding (‘=’) para terminar de completar ese múltiplo.

Programas y usos muy communes en toda la internet para Base64 son;

 - PEM (Privacy enhanced mail).
 - MIME (Multipurpose Internet Mail Extensions)
 - UTF-7
 - OpenPGP
 - URLs dentro de aplicaciones
 - Datos binarios transmitidos entre un cliente-servidor (como por ejemplo una web mediante HTTP).
 - Intercambio de datos con el servidor de autenticación LDAP.
 - Embeber archivos binarios en un archivo de texto ( de esta manera se evita que el binario se corrompa o de dependa de programas externos para procesarlo).
 - Compartir datos binarios de un porta papeles entre computadoras de una red (como la integración que da KDEConnect/GSConnect con un Linux).
 - Los códigos QR suelen almacenar la información binaria en esta codificación.
 - Embeber imágenes dentro de archivos markdown. Esta web y todas sus imágenes están hechas de esta forma.

Aunque otros como UTF-8 tiene cieras incompatibilidades debido a que son dos sistemas de codificación **diferentes y con objetivos de uso diferentes**.

Base64 no es el único que codifica-decodifica entre binario y texto, existen muchos como;

• https://en.wikipedia.org/wiki/Binary-to-text_encoding

Codificador-Decodificador

Abreviado como ‘códec’ en español. Es el estándar utilizado que le indica a un software como debe interpretar un conjunto de bits (codificar) y como decodificarlos para su tratamiento (decodificar).

Se utilizan principalmente para multimedia;

• JPEG (Joint Photographic Experts Group)

Es tanto un estándar de compresión como un codec para imágenes fijas.

Se utilizan funciones matemáticas por matrices para las funciones de codificación y decodificación.

• PNG (Portable Network Graphics)

Es un formato gráfico, al igual que JPEG es de compresión pero sin pérdida de calidad y sin estar sujeto a patentes.

Tiene una firma digital en su archivo con un encabezado de 8 bytes;

• Audio digital

¿cómo se transforma un archivo de música de bits a sonido mediante pulsos eléctricos? Con la codificación digital de una señal eléctrica que es equivalenta a una onda sonora determinada.

Se utilizan codificaciones como el muestro (fijar la amplitud de la señal eléctrica a intervalos regulares de tiempo) y la cuantificación digital (una onda X representa un muestreo Y), a grandes rasgos y muy simplificado.

• Codificación de la televisión digital

De como tratar las señales eléctricas surgen NTSC (EEUU), PAL (Europa), SECAM (Francia) que no eran compatibles entre ellos y su digitalización por componentes que sí permite compatibilidad entre todos.

• MKV (Matroska Video)

Codec que funciona como contenedor de otros para video.

• MP$ (MPEG-4 )

Codec que funciona como contenedor de otros para video.

• VP8 / VP9

Desarrollado por Google para el internet actual para el procesamiento eficiente en HTML de videos. Pensado para ser integrado en archivos WebM.

• Vorbis / Opus

Desarrollado por Google para el internet actual para el procesamiento eficiente en HTML de audio. Pensado para ser integrado en archivos WebM.

Codificacion vs Formato

En la red va a ver muchas veces referencias cruzadas o usos indiscriminados entre “formato” y “codificación”. Es importante que pueda entender finalmente que es cada uno;

Un sistema de codificación es un acuerdo mutuo entre partes de como se debe representar la información recibida para poder ser tratada. Un formato indica una estructura de datos en una cierta codificación que debe seguir un cierto orden y con determinadas características para que pueda ser procesado correctamente por un programa externo.

Herramientas útiles

• gnu coreutils -> base64
• https://www.rapidtables.com/convert/number/ascii-to-hex.html
• https://www.utf8-chartable.de
• xdd
• ghex

Que usar dependiendo del escenario

Dicho todo lo anterior, siempre se debe seguir estas máximas;

1. Si no se va a usar idiomas no latinos en el sistema operativo, se debe configurar su codificación visual como ASCII. Esto permite mayor velocidad de procesamiento y menor consumo de recursos.
2. Si se requiere guardar imágenes se recomienda tenerlas en formato; png. Esto es debido a que, a diferencia de otros formatos, el png está dividido en segmentos y esto da la ventaja que si uno de ellos está corrupto no afecta a la totalidad de la imagen. Siendo así más resiliente a daños.
3. Si se requiere guardar imágenes en forma de copias de seguridad, se recomienda hacerlo como BASE64 en texto plano. Esto es debido a que, al ser texto plano puro y duro, si se pierde o corrompe una parte de la información (las letras ASCII de salida) no se corrompe todo el archivo.
4. Se recomienda que todas las aplicaciones transfieran sus datos utilizando ASCII y no UTF-8/16, debido a posibles incompatibilidades entre sí. Siempre y cuando se utilice intercambio de información en un idioma con alfabeto latino, incluso para mejor compatibilidad se puede usar ASCII para el traspaso de información codificándola en BASE64.