{"id":86761,"date":"2019-11-14T15:38:24","date_gmt":"2019-11-14T14:38:24","guid":{"rendered":"https:\/\/dks.digital\/blog\/sin-categoria\/tfm-data-science-10-prediccion-precios-subastas\/"},"modified":"2019-11-14T15:38:24","modified_gmt":"2019-11-14T14:38:24","slug":"tfm-data-science-10-prediccion-precios-subastas","status":"publish","type":"post","link":"https:\/\/dks.digital\/mx\/blog\/data-science\/tfm-data-science-10-prediccion-precios-subastas\/","title":{"rendered":"Un TFM del M\u00e1ster de Data Science de 10: Predicci\u00f3n de precios finales de subastas"},"content":{"rendered":"
En otras ocasiones ya os hemos hablado sobre los Trabajos de Fin de M\u00e1ster de nuestros alumnos de Data Science<\/a>, y hoy volvemos a hacerlo.\u00a0Sergio Valmorisco Sierra es un ingeniero de telecomunicaci\u00f3n apasionado por la ciencia de datos que decidi\u00f3 matricularse en el M\u00e1ster de Data Science de DKS para mejorar su conocimiento sobre los fundamentos y las \u00faltimas tecnolog\u00edas de la ciencia de datos. A continuaci\u00f3n nos cuenta en detalle su experiencia realizando el TFM calificado con un 10. \u00a1C\u00f3mo se lo curran nuestros DKSeros!<\/h5>\n

El TFM de Data Science que realic\u00e9 en DKS ten\u00eda como objetivo el desarrollo de un modelo de predicci\u00f3n del precio final de un tipo especial de subastas denominadas \u201c<\/strong>pay-per-bid<\/em><\/strong>\u201d<\/strong>.<\/p>\n

Este tipo de subastas se caracterizan por la peculiaridad de que cada puja individual supone un coste fijo para el usuario que la realiza, independientemente de que termine ganando la subasta o no. El ganador de la subasta suele obtener el producto por un precio bastante menor al de mercado, y la mayor\u00eda de las ganancias de los organizadores de la subasta provienen del coste de las pujas realizadas y no del precio final alcanzado por el producto.<\/p>\n

Con el TFM pretend\u00eda cubrir el ciclo completo de un proyecto de ciencia de datos: adquisici\u00f3n de los datos, limpieza y preparaci\u00f3n de los datos, an\u00e1lisis y finalmente visualizaci\u00f3n de resultados. Adem\u00e1s, quer\u00eda aplicar el amplio conocimiento adquirido en el m\u00e1ster sobre diferentes campos de la ciencia de datos.<\/p>\n

Con estos objetivos en mente, comenc\u00e9 a buscar datos p\u00fablicos que tuvieran la suficiente calidad y, tras una larga b\u00fasqueda, encontr\u00e9 datos recogidos por unos investigadores sobre Swoopo<\/a>, una de las p\u00e1ginas web comerciales m\u00e1s famosas de subastas pay-for-bid.<\/p>\n

Los datos estaban divididos en dos ficheros. El primero de ellos conten\u00eda informaci\u00f3n general sobre m\u00e1s de un mill\u00f3n de subastas reales realizadas en Swoopo, incluyendo la descripci\u00f3n del producto ofrecido, su precio de mercado en el momento de la subasta, el precio final de venta, el nombre del usuario ganador, el n\u00famero de pujas realizadas en cada subasta, etc. El segundo fichero conten\u00eda informaci\u00f3n detallada sobre m\u00e1s de 7000 de estas subastas, como el instante de tiempo de cada puja individual, el nombre del usuario que realiz\u00f3 cada puja, etc.<\/p>\n

\r\n \r\n \r\n \r\n \r\n \"Alt\r\n <\/picture>\r\n
\r\n
\r\n
\r\n

Inscr\u00edbete en el Curso de IA y Data Science<\/h2>\r\n

Convi\u00e9rtete en un Data Scientist especializado en IA.<\/p>\r\n <\/div>\r\n

\r\n M\u00e1ster en Ciencia de Datos Online \"\"\r\n <\/a>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/section>\r\n <\/h5>\n

Primero proced\u00ed a limpiar los datos y a analizarlos para obtener informaci\u00f3n estad\u00edstica general. En la parte de an\u00e1lisis encontr\u00e9 algunos hechos interesantes. Por ejemplo, el precio final alcanzado era menor que el precio de mercado para el 47.50% de las subastas, aunque en media Swoopo obten\u00eda 200$ por encima del precio de mercado de cada producto subastado. En media, el ganador de la subasta compraba el producto por 160$ menos que su precio de mercado. Las pujas de los ganadores de las subastas representaban en media el 20% de todas las pujas de cada subasta.<\/p>\n

Despu\u00e9s del an\u00e1lisis y partiendo de los datos obtenidos tras un proceso de limpieza, decid\u00ed realizar un modelo de predicci\u00f3n del precio final de cada subasta, pudiendo calcular la eficacia del modelo comparando los resultados de las predicciones con los precios finales alcanzados en la realidad de acuerdo a los datos con que contaba.<\/p>\n

El modelo trataba de predecir el valor de una variable (en este caso, el precio final alcanzado en la subasta) a trav\u00e9s de otras variables de entrada conocidas al comienzo de la subasta. Para obtener buenos resultados, era clave escoger variables de entrada apropiadas que fueran capaces de explicar el comportamiento de la variable a predecir con la m\u00e1xima precisi\u00f3n posible.<\/p>\n

Los productos subastados en Swoopo eran en su gran mayor\u00eda art\u00edculos de consumo electr\u00f3nico tales como videojuegos, televisores, ordenadores port\u00e1tiles, m\u00f3viles, reproductores de m\u00fasica, etc. Los datos contaban con una descripci\u00f3n del producto, por ejemplo “PSP Slim & Lite Sony Piano Black”. Sin embargo, no conten\u00edan una descripci\u00f3n de la categor\u00eda a la que pertenec\u00eda, como podr\u00eda ser \u201cVideo Games & Consoles\u201d para el ejemplo anterior. Como se ha mencionado anteriormente, era clave escoger variables de entrada apropiadas para el modelo de predicci\u00f3n, e introducir informaci\u00f3n de la categor\u00eda a la que pertenec\u00eda cada producto pod\u00eda ser una informaci\u00f3n que mejorase en gran medida las predicciones.<\/p>\n

Amazon.com es una de las grandes compa\u00f1\u00edas de comercio electr\u00f3nico y vende o vend\u00eda la gran mayor\u00eda de los productos contenidos en los datos. Adem\u00e1s, siempre asigna una categor\u00eda a los productos que vende, la cual pod\u00eda ser \u00fatil para completar la informaci\u00f3n de los datos. Para el ejemplo de “PSP Slim & Lite Sony Piano Black” la categor\u00eda asignada por Amazon es “Video Games > Sony PSP > Consoles”. Us\u00e9 t\u00e9cnicas de web scraping para obtener la categor\u00eda de todos los productos contenidos en los datos. Estas t\u00e9cnicas sirven para extraer informaci\u00f3n de p\u00e1ginas web de forma automatizada, en este caso bas\u00e1ndose en el hecho de que la categor\u00eda asignada por Amazon a sus productos se encuentra siempre bajo el mismo identificador HTML (lenguaje de programaci\u00f3n usado en el desarrollo de p\u00e1ginas web) para todos sus productos.<\/p>\n

La idea era que las categor\u00edas de los productos asignadas por Amazon sirviesen como informaci\u00f3n de entrada al modelo de predicci\u00f3n para poder separar los productos en grupos en funci\u00f3n de su categor\u00eda y buscar posibles patrones de precio final diferentes para cada categor\u00eda. No obstante, Amazon cuenta con muchos tipos de categor\u00edas,\u00a0 adem\u00e1s de categor\u00edas diferentes pero muy similares entre s\u00ed, como por ejemplo \u201cVideo Games \u203a PlayStation 3 \u203a Games\u201d y \u201cVideo Games \u203a Wii \u203a Games\u201d. Para que la informaci\u00f3n de la categor\u00eda de producto fuese realmente \u00fatil para el modelo de predicci\u00f3n era necesario definir distancias entre las categor\u00edas que indicasen lo similares o diferentes que eran.<\/p>\n

\"\"<\/p>\n

En el campo de procesamiento de lenguaje natural (PLN o NLP en ingl\u00e9s), el modelo previamente entrenado Word2Vec de Google incluye vectores de palabras para un vocabulario de 3 millones de palabras que entrenaron con una base de datos de Google News. Cada palabra se representa como un vector de 300 valores, creando as\u00ed un espacio multidimensional donde las palabras similares o relacionadas se encuentran representadas por puntos cercanos. Cada categor\u00eda de producto de Amazon estaba compuesta por varias palabras, y por ello, se calcul\u00f3 un vector para cada una de ellas que se obtuvo como la media de los vectores de cada una de las palabras que conten\u00eda. As\u00ed, cada categor\u00eda quedaba representada por un \u00fanico vector, y era posible distinguir entre categor\u00edas similares o diferentes bas\u00e1ndose en las distancias entre estos vectores. Los algoritmos de agrupamiento (clustering en ingl\u00e9s) permiten agrupar una serie de vectores de acuerdo a un criterio, en este caso la distancia. Se us\u00f3 el algoritmo de clustering K-Means para crear clusters (grupos) de productos con la misma categor\u00eda o categor\u00edas similares bas\u00e1ndose en la distancia de los vectores.<\/p>\n

Para el modelo de predicci\u00f3n, decid\u00ed usar varias t\u00e9cnicas y algoritmos de predicci\u00f3n, para as\u00ed poder comparar m\u00faltiples resultados y encontrar la mejor combinaci\u00f3n posible.<\/p>\n

Compar\u00e9 5 t\u00e9cnicas diferentes:<\/p>\n