์ฃผ์š” ์ปจํ…์ธ ๋กœ ์ด๋™

์‹ ์šฉ์นด๋“œ ๊ฑฐ๋ž˜๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ์€ํ–‰๊ณผ ํ•€ํ…Œํฌ๋ฅผ ์œ„ํ•œ ์ดˆ๊ฐœ์ธํ™” ์•ก์…€๋Ÿฌ๋ ˆ์ดํ„ฐ

Lakehouse for Financial Services as the strategic platform to accelerate digital transformation in retail banking

db-99-blog-og

Published: July 8, 2024

์†”๋ฃจ์…˜ ์•ก์…€๋Ÿฌ๋ ˆ์ดํ„ฐ1๋ถ„ ์ด๋‚ด ์†Œ์š”

์ž‘์„ฑ์ž: Antoine Amend

๋„ทํ”Œ๋ฆญ์Šค์™€ ํ…Œ์Šฌ๋ผ๊ฐ€ ๋ฏธ๋””์–ด์™€ ์ž๋™์ฐจ ์‚ฐ์—…์„ ํ˜์‹ ํ–ˆ๋“ฏ์ด, ๋งŽ์€ ํ•€ํ…Œํฌ ๊ธฐ์—…๋“ค์ด ๊ฐœ์ธํ™”๋œ ์„œ๋น„์Šค, ๋ณด์•ˆ์ด ๊ฐ•ํ™”๋œ ๋‹ค์–‘ํ•œ ์‹ ์šฉ์นด๋“œ, ๋งค๋„๋Ÿฌ์šด ์˜ด๋‹ˆ์ฑ„๋„ ๊ฒฝํ—˜์„ ํ†ตํ•ด ๋””์ง€ํ„ธ ํ™œ๋™ ์ธ๊ตฌ์˜ ๋งˆ์Œ์„ ์‚ฌ๋กœ์žก์œผ๋ฉฐ ๊ธˆ์œต ์„œ๋น„์Šค ์—…๊ณ„๋ฅผ ๋ณ€ํ™”์‹œํ‚ค๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. 8๋…„ ๋œ ์Šคํƒ€ํŠธ์—…์ธ NuBank๊ฐ€ ๋ผํ‹ด ์•„๋ฉ”๋ฆฌ์นด์—์„œ ๊ฐ€์žฅ ๊ฐ€์น˜ ์žˆ๋Š” ์€ํ–‰์ด ๋œ ์„ฑ๊ณต ์‚ฌ๋ก€๋Š” ์ด ํšŒ์‚ฌ๋งŒ์˜ ํŠน๋ณ„ํ•œ ๊ฒฝ์šฐ๊ฐ€ ์•„๋‹ˆ๋ฉฐ, 280๊ฐœ๊ฐ€ ๋„˜๋Š” ๋‹ค๋ฅธ ํ•€ํ…Œํฌ ์œ ๋‹ˆ์ฝ˜ ๊ธฐ์—…๋“ค๋„ ๊ฒฐ์ œ ์‚ฐ์—… ์ „์ฒด๋ฅผ ๋’คํ”๋“ค๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์˜๊ตญ ๊ธˆ์œต๊ฐ๋…์ฒญ(FCA)์˜ ์—ฐ๊ตฌ์— ๋”ฐ๋ฅด๋ฉด "ํ˜์‹ , ๋””์ง€ํ„ธํ™”, ์†Œ๋น„์ž ํ–‰๋™ ๋ณ€ํ™”๋กœ ์ธํ•ด ๋Œ€ํ˜• ์€ํ–‰์˜ ์—ญ์‚ฌ์  ์šฐ์œ„๊ฐ€ ์•ฝํ™”๋˜๊ธฐ ์‹œ์ž‘ํ–ˆ๋‹ค"๊ณ  ์–ธ๊ธ‰ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์— ๋Œ€์‘ํ•˜์—ฌ JP Morgan Chase์™€ ๊ฐ™์€ ๋งŽ์€ ์ „ํ†ต ๊ธˆ์œต ์„œ๋น„์Šค ๊ธฐ๊ด€์€ ์ตœ๊ทผ ํด๋ผ์šฐ๋“œ, ๋ฐ์ดํ„ฐ ๋ฐ ์ธ๊ณต์ง€๋Šฅ(AI) ๊ธฐ์ˆ ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•€ํ…Œํฌ ๊ธฐ์—…๊ณผ ๊ฒฝ์Ÿํ•˜๊ธฐ ์œ„ํ•œ ์ƒ๋‹นํ•œ ์ „๋žต์  ํˆฌ์ž๋ฅผ ๋ฐœํ‘œํ–ˆ์Šต๋‹ˆ๋‹ค.

๊ณ ๊ฐ ๊ฐœ์ธํ™”์— ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋Ÿ‰, AI ์šด์˜์˜ ๋ณต์žก์„ฑ(๊ฐœ๋… ์ฆ๋ช…์—์„œ ์—”ํ„ฐํ”„๋ผ์ด์ฆˆ ๊ทœ๋ชจ์˜ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ๊นŒ์ง€), ํด๋ผ์šฐ๋“œ ์ธํ”„๋ผ์—์„œ์˜ ์—„๊ฒฉํ•œ ๋ฐ์ดํ„ฐ ๋ฐ ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ ๊ทœ์ • ๋“ฑ์„ ๊ณ ๋ คํ•  ๋•Œ, ๊ธˆ์œต ๋ ˆ์ดํฌํ•˜์šฐ์Šค๋Š” ๋งŽ์€ ํ˜์‹  ๊ธฐ์—…๊ณผ ๊ธฐ์กด ๊ธฐ์—… ๋ชจ๋‘๊ฐ€ ๋””์ง€ํ„ธ ํ˜์‹ ์„ ๊ฐ€์†ํ™”ํ•˜๊ณ  ์ˆ˜๋ฐฑ๋งŒ ๊ณ ๊ฐ์—๊ฒŒ ๊ฐœ์ธํ™”๋œ ์ธ์‚ฌ์ดํŠธ์™€ ํ–ฅ์ƒ๋œ ๊ธˆ์œต ๊ฒฝํ—˜์„ ์ œ๊ณตํ•˜๊ธฐ ์œ„ํ•œ ์ „๋žต์  ํ”Œ๋žซํผ์œผ๋กœ ๋ถ€์ƒํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค(HSBC์˜ AI ๊ธฐ๋ฐ˜ ๋ชจ๋ฐ”์ผ๋ฑ…ํ‚น ํ˜์‹  ์‚ฌ๋ก€๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”).

์ด์ „ ์†”๋ฃจ์…˜ ์•ก์…€๋Ÿฌ๋ ˆ์ดํ„ฐ์—์„œ๋Š” ์‹ ์šฉ์นด๋“œ ๊ฑฐ๋ž˜์—์„œ ๋ธŒ๋žœ๋“œ์™€ ๊ฐ€๋งน์ ์„ ์‹๋ณ„ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ๋ณด์—ฌ์ฃผ์—ˆ์Šต๋‹ˆ๋‹ค. ์ƒˆ๋กœ์šด ์†”๋ฃจ์…˜ ์•ก์…€๋Ÿฌ๋ ˆ์ดํ„ฐ์—์„œ๋Š” ์ด๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์†Œ๋น„์ž์— ๋Œ€ํ•œ ์ „์ฒด์ ์ธ ๊ทธ๋ฆผ์„ ํŒŒ์•…ํ•˜๊ณ , ๊ธฐ์กด์˜ ์ธ๊ตฌํ†ต๊ณ„, ์†Œ๋“, ์ƒํ’ˆ ๋ฐ ์„œ๋น„์Šค(๊ณ ๊ฐ์ด ๋ˆ„๊ตฌ์ธ์ง€) ์ •๋ณด ์™ธ์—๋„ ๊ฑฐ๋ž˜ ํ–‰๋™ ๋ฐ ์‡ผํ•‘ ์„ ํ˜ธ๋„(๊ณ ๊ฐ์ด ์–ด๋–ป๊ฒŒ ์€ํ–‰์„ ์ด์šฉํ•˜๋Š”์ง€)๊นŒ์ง€ ํ™•์žฅํ•˜๋Š” ์ตœ์‹  ์ดˆ๊ฐœ์ธํ™” ๋ฐ์ดํ„ฐ ์ž์‚ฐ ์ „๋žต์„ ๊ตฌ์ถ•ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋ฐ์ดํ„ฐ ์ž์‚ฐ์€ ์˜จ๋ผ์ธ ๋ฑ…ํ‚น ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์˜ ๋กœ์—ดํ‹ฐ ํ”„๋กœ๊ทธ๋žจ, ํ•ต์‹ฌ ๋ฑ…ํ‚น ํ”Œ๋žซํผ์˜ ์‚ฌ๊ธฐ ๋ฐฉ์ง€, '์ง€๊ธˆ ๊ตฌ๋งค ํ›„ ๋‚˜์ค‘์— ์ง€๋ถˆ'(BNPL) ์ด๋‹ˆ์…”ํ‹ฐ๋ธŒ์˜ ์‹ ์šฉ ๋ฆฌ์Šคํฌ ๋“ฑ ๋‹ค์–‘ํ•œ ๋‹ค์šด์ŠคํŠธ๋ฆผ ์‚ฌ์šฉ ์‚ฌ๋ก€์—๋„ ๋™์ผํ•˜๊ฒŒ ์ ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํŠธ๋žœ์žญ์…˜ ์ปจํ…์ŠคํŠธ (Transactional context)

๋ชจ๋“  ์„ธ๋ถ„ํ™” ์‚ฌ์šฉ ์‚ฌ๋ก€์— ๋Œ€ํ•œ ์ผ๋ฐ˜์ ์ธ ์ ‘๊ทผ ๋ฐฉ์‹์€ ๋‹จ์ˆœํ•œ ํด๋Ÿฌ์Šคํ„ฐ๋ง ๋ชจ๋ธ์ด์ง€๋งŒ, ๊ธฐ์กด์˜ ๊ธฐ๋ฒ•์€ ์ œํ•œ์ ์ž…๋‹ˆ๋‹ค. ๋˜ํ•œ ์›๋ž˜์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณ€ํ™˜ํ•  ๋•Œ ์˜ˆ์ƒ์น˜ ๋ชปํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋„์ถœํ•˜๋Š” ๋” ๊ด‘๋ฒ”์œ„ํ•œ ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ์†”๋ฃจ์…˜์—์„œ๋Š” ์›๋ž˜์˜ ์นด๋“œ ๊ฑฐ๋ž˜ ๋ฐ์ดํ„ฐ๋ฅผ ๊ทธ๋ž˜ํ”„ ํŒจ๋Ÿฌ๋‹ค์ž„์œผ๋กœ ๋ณ€ํ™˜ํ•˜๊ณ  ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) ๊ธฐ์ˆ ์„ ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค.

representing card transactions as a bi-partite graph

๋‹จ์–ด์˜ ์˜๋ฏธ๊ฐ€ ์ฃผ๋ณ€ ๋ฌธ๋งฅ์— ์˜ํ•ด ์ •์˜๋˜๋Š” NLP ๊ธฐ์ˆ ๊ณผ ์œ ์‚ฌํ•˜๊ฒŒ, ํŒ๋งค์ž์˜ ์นดํ…Œ๊ณ ๋ฆฌ๋Š” ๊ณ ๊ฐ ๊ธฐ๋ฐ˜๊ณผ ์†Œ๋น„์ž๊ฐ€ ์ง€์ง€ํ•˜๋Š” ๋‹ค๋ฅธ ๋ธŒ๋žœ๋“œ๋ฅผ ํ†ตํ•ด ํ•™์Šตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋งฅ๋ฝ์„ ๊ตฌ์ถ•ํ•˜๊ธฐ ์œ„ํ•ด ๊ณ ๊ฐ์ด ํ•œ ๋งค์žฅ์—์„œ ๋‹ค๋ฅธ ๋งค์žฅ์œผ๋กœ ์ด๋™ํ•˜๋Š” ์‹œ๋ฎฌ๋ ˆ์ด์…˜์„ ํ†ตํ•ด ๊ทธ๋ž˜ํ”„ ๊ตฌ์กฐ๋ฅผ ํƒ์ƒ‰ํ•˜๋Š” '์‡ผํ•‘ ์—ฌํ–‰'์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ๋ชฉํ‘œ๋Š” ๋„คํŠธ์›Œํฌ์—์„œ ๊ณ ๊ฐ์ด ์ „๋‹ฌํ•˜๋Š” ์ปจํ…์ŠคํŠธ ์ •๋ณด๋ฅผ ์ˆ˜ํ•™์ ์œผ๋กœ ํ‘œํ˜„ํ•œ '์ž„๋ฒ ๋”ฉ'์„ ํ•™์Šตํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ด ์˜ˆ์—์„œ, ๋งฅ๋ฝ์ ์œผ๋กœ ์„œ๋กœ ๊ฐ€๊นŒ์šด ๋‘ ํŒ๋งค์ž๋Š” ์ˆ˜ํ•™์ ์œผ๋กœ ์„œ๋กœ ๊ฐ€๊นŒ์šด ํฐ ๋ฒกํ„ฐ์— ์ž„๋ฒ ๋”ฉ๋ฉ๋‹ˆ๋‹ค. ๋” ๋‚˜์•„๊ฐ€, ๋™์ผํ•œ ์‡ผํ•‘ ํ–‰๋™์„ ๋ณด์ด๋Š” ๋‘ ๊ณ ๊ฐ์€ ์ˆ˜ํ•™์ ์œผ๋กœ ์„œ๋กœ ๊ฐ€๊นŒ์›Œ์ง€๋ฏ€๋กœ ๋ณด๋‹ค ์ง„๋ณด๋œ ๊ณ ๊ฐ ์„ธ๋ถ„ํ™” ์ „๋žต์„ ์œ„ํ•œ ๊ธฐ๋ฐ˜์„ ๋งˆ๋ จํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํŒ๋งค์ž ์ž„๋ฒ ๋”ฉ

Word2Vec ์ž„๋ฒ ๋”ฉ์˜ ์‹ ๊ฒฝ๋ง ํ•™์Šต์„ ๋ณด๋‹ค ํšจ์œจ์ ์œผ๋กœ ํ•˜๊ธฐ ์œ„ํ•ด Google์˜ Tomas Mikolov ๋“ฑ์ด ๊ฐœ๋ฐœํ•œ ๊ฒƒ์œผ๋กœ, ์ดํ›„ ์‚ฌ์ „ ํ•™์Šต๋œ ๋‹จ์–ด ์ž„๋ฒ ๋”ฉ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ฐœ๋ฐœ์„ ์œ„ํ•œ ์‚ฌ์‹ค์ƒ์˜ ํ‘œ์ค€์ด ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด ์†”๋ฃจ์…˜์—์„œ๋Š” ์•ž์„œ ์ •์˜ํ•œ ์‡ผํ•‘ ์—ฌํ–‰์— ๋Œ€ํ•ด ํ•™์Šตํ•˜๋Š” Apache Sparkโ„ข ML API์˜ ๊ธฐ๋ณธ wordVec ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

์šฐ๋ฆฌ์˜ ์ ‘๊ทผ ๋ฐฉ์‹์„ ๋น ๋ฅด๊ฒŒ ๊ฒ€์ฆํ•˜๋Š” ๊ฐ€์žฅ ํ™•์‹คํ•œ ๋ฐฉ๋ฒ•์€ ๊ฒฐ๊ณผ๋ฅผ ์ฃผ์‹œํ•˜๊ณ  ๋„๋ฉ”์ธ ์ „๋ฌธ ์ง€์‹์„ ์ ์šฉํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. "ํด ์Šค๋ฏธ์Šค"์™€ ๊ฐ™์€ ๋ธŒ๋žœ๋“œ์˜ ์˜ˆ์—์„œ, ์šฐ๋ฆฌ ๋ชจ๋ธ์€ ํด ์Šค๋ฏธ์Šค์˜ ๊ฐ€์žฅ ๊ฐ€๊นŒ์šด ๊ฒฝ์Ÿ์ž๊ฐ€ "ํœด๊ณ  ๋ณด์Šค", "๋ž„ํ”„ ๋กœ๋ Œ" ๋˜๋Š” "ํƒ€๋ฏธ ํžํ”ผ๊ฑฐ"๋ผ๋Š” ๊ฒƒ์„ ์ฐพ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

merchants that are contextually close to Paul Smith

๋‹จ์ˆœํžˆ ๊ฐ™์€ ์นดํ…Œ๊ณ ๋ฆฌ(์˜ˆ: ํŒจ์…˜ ์—…๊ณ„) ๋‚ด์˜ ๋ธŒ๋žœ๋“œ๋ฅผ ๊ฐ์ง€ํ•œ ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ๋น„์Šทํ•œ ๊ฐ€๊ฒฉ๋Œ€์˜ ๋ธŒ๋žœ๋“œ๋ฅผ ๊ฐ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ณ ๊ฐ ํ–‰๋™ ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋‹ค์–‘ํ•œ ์—…์ข…์„ ๋ถ„๋ฅ˜ํ•  ์ˆ˜ ์žˆ์—ˆ์„ ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ, ๊ณ ๊ฐ์ด ๊ตฌ๋งคํ•˜๋Š” ์ƒํ’ˆ์˜ ํ’ˆ์งˆ์— ๋”ฐ๋ผ ๊ณ ๊ฐ ์„ธ๋ถ„ํ™”๊ฐ€ ์ด๋ฃจ์–ด์งˆ ์ˆ˜๋„ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” Bruss ๋“ฑ์˜ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ๋’ท๋ฐ›์นจํ•ฉ๋‹ˆ๋‹ค.

ํŒ๋งค์ž ํด๋Ÿฌ์Šคํ„ฐ๋ง

์˜ˆ๋น„ ๊ฒฐ๊ณผ์—๋Š” ๋ฌธ์ œ๊ฐ€ ์žˆ์—ˆ์ง€๋งŒ, ๋‹ค๋ฅธ ํŒ๋งค์ž ๊ทธ๋ฃน๊ณผ ๋‹ค์†Œ ์œ ์‚ฌํ•œ ํŒ๋งค์ž ๊ทธ๋ฃน์ด ์žˆ์„ ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์ด๋ฅผ ์ถ”๊ฐ€๋กœ ์‹๋ณ„ํ•˜๊ณ  ์‹ถ์„ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์ค‘์š”ํ•œ ํŒ๋งค์ž/๋ธŒ๋žœ๋“œ ๊ทธ๋ฃน์„ ์ฐพ๋Š” ๊ฐ€์žฅ ์‰ฌ์šด ๋ฐฉ๋ฒ•์€ ์ž„๋ฒ ๋””๋“œ ๋ฒกํ„ฐ ๊ณต๊ฐ„์„ 3D ํ”Œ๋กฏ์œผ๋กœ ์‹œ๊ฐํ™”ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด ์ฃผ์„ฑ๋ถ„ ๋ถ„์„(PCA)๊ณผ ๊ฐ™์€ ๋จธ์‹ ๋Ÿฌ๋‹ ๊ธฐ๋ฒ•์„ ์ ์šฉํ•˜์—ฌ ์ž„๋ฒ ๋””๋“œ ๋ฒกํ„ฐ๋ฅผ 3์ฐจ์›์œผ๋กœ ์ถ•์†Œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

representing merchant embeddings into 3 dimensions

๋‹จ์ˆœํ•œ ํ”Œ๋กฏ์„ ์‚ฌ์šฉํ•˜์—ฌ ๋šœ๋ ทํ•œ ํŒ๋งค์ž ๊ทธ๋ฃน์„ ์‹๋ณ„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ํŒ๋งค์ž๋“ค์€ ์„œ๋กœ ๋‹ค๋ฅธ ์‚ฌ์—… ๋ถ„์•ผ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๊ณ  ํ‘œ๋ฉด์ ์œผ๋กœ๋Š” ์„œ๋กœ ๋‹ค๋ฅธ ๊ฒƒ์ฒ˜๋Ÿผ ๋ณด์ผ ์ˆ˜ ์žˆ์ง€๋งŒ, ๋ชจ๋‘ ๋น„์Šทํ•œ ๊ณ ๊ฐ์ธต์„ ์œ ์น˜ํ•œ๋‹ค๋Š” ํ•œ ๊ฐ€์ง€ ๊ณตํ†ต์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ํด๋Ÿฌ์Šคํ„ฐ๋ง ๋ชจ๋ธ(KMeans)์„ ํ†ตํ•ด ์ด ๊ฐ€์„ค์„ ๋” ์ž˜ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํŠธ๋žœ์žญ์…˜ ํ”์ 

word2vec ๋ชจ๋ธ์˜ ํŠน์ดํ•œ ํŠน์ง• ์ค‘ ํ•˜๋‚˜๋Š” ๋†’์€ ์˜ˆ์ธก๊ฐ’์„ ์œ ์ง€ํ•˜๋ฉด์„œ๋„ ์ถฉ๋ถ„ํžˆ ํฐ ๋ฒกํ„ฐ๋ฅผ ์ง‘๊ณ„ํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋‹ค์‹œ ๋งํ•ด, ๋ฌธ์„œ์˜ ์ค‘์š”๋„๋Š” ๊ฐ ๋‹จ์–ด ๊ตฌ์„ฑ ์š”์†Œ์˜ ๋ฒกํ„ฐ๋ฅผ ํ‰๊ท ํ™”ํ•˜์—ฌ ํ•™์Šตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(Mikolov ๋“ฑ์˜ ๋ฐฑ์„œ ์ฐธ์กฐ). ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ, ๊ณ ๊ฐ์ด ์„ ํ˜ธํ•˜๋Š” ๊ฐ ๋ธŒ๋žœ๋“œ์˜ ๋ฒกํ„ฐ๋ฅผ ์ง‘๊ณ„ํ•˜์—ฌ ๊ณ ๊ฐ์˜ ์†Œ๋น„ ์„ ํ˜ธ๋„๋ฅผ ํ•™์Šตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ช…ํ’ˆ ๋ธŒ๋žœ๋“œ, ๊ณ ๊ธ‰ ์ž๋™์ฐจ, ๊ณ ๊ธ‰ ์ฃผ๋ฅ˜์— ๋Œ€ํ•œ ์ทจํ–ฅ์ด ๋น„์Šทํ•œ ๋‘ ๊ณ ๊ฐ์€ ์ด๋ก ์ ์œผ๋กœ ์„œ๋กœ ๊ฐ€๊น๊ธฐ ๋•Œ๋ฌธ์— ๊ฐ™์€ ์„ธ๊ทธ๋จผํŠธ์— ์†ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋Ÿฌํ•œ ํ†ตํ•ฉ๋œ ๊ด€์ ์€ ๊ฐ ์ตœ์ข… ์†Œ๋น„์ž๋งˆ๋‹ค ๊ณ ์œ ํ•œ ๊ฑฐ๋ž˜ ํŒจํ„ด์„ ์ƒ์„ฑํ•œ๋‹ค๋Š” ์ ์„ ์–ธ๊ธ‰ํ•  ๊ฐ€์น˜๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‘ ๊ฐœ์˜ ํŒจํ„ด์ด ์œ ์‚ฌํ•œ ํŠน์„ฑ(๋™์ผํ•œ ์‡ผํ•‘ ์„ ํ˜ธ๋„)์„ ๊ณต์œ ํ•  ์ˆ˜ ์žˆ์ง€๋งŒ, ์ด๋Ÿฌํ•œ ๊ณ ์œ ํ•œ ํŠน์„ฑ์„ ์‚ฌ์šฉํ•˜์—ฌ ์‹œ๊ฐ„์ด ์ง€๋‚จ์— ๋”ฐ๋ผ ๊ฐœ๋ณ„ ๊ณ ๊ฐ ํ–‰๋™์„ ์ถ”์ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ณ ๊ฐ ํŠน์„ฑ์ด ์ด์ „ ๊ด€์ฐฐ ๊ฒฐ๊ณผ์™€ ํฌ๊ฒŒ ๋‹ค๋ฅผ ๊ฒฝ์šฐ, ์ด๋Š” ์‚ฌ๊ธฐ ํ–‰์œ„์˜ ์ง•ํ›„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(์˜ˆ: ๋„๋ฐ• ์—…์ฒด์— ๋Œ€ํ•œ ๊ฐ‘์ž‘์Šค๋Ÿฌ์šด ๊ด€์‹ฌ). ์‹œ๊ฐ„์ด ์ง€๋‚จ์— ๋”ฐ๋ผ ํŠน์„ฑ์ด ๋‹ฌ๋ผ์ง€๋Š” ๊ฒฝ์šฐ, ์ด๋Š” ์ธ์ƒ์˜ ์ฃผ์š” ์‚ฌ๊ฑด(์˜ˆ: ์‹ ์ƒ์•„ ์ถœ์‚ฐ)์„ ๋‚˜ํƒ€๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์ ‘๊ทผ ๋ฐฉ์‹์€ ์†Œ๋งค ๊ธˆ์œต์—์„œ ๊ณ ๊ฐ ๋งž์ถคํ™”๋ฅผ ์ถ”์ง„ํ•˜๋Š” ๋ฐ ํ•ต์‹ฌ์ ์ธ ์—ญํ• ์„ ํ•ฉ๋‹ˆ๋‹ค. ์‹ค์‹œ๊ฐ„ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ๊ณ ๊ฐ ์„ ํ˜ธ๋„๋ฅผ ์ถ”์ ํ•˜๋Š” ๊ธฐ๋Šฅ์€ ์€ํ–‰์ด ๊ธ์ •์ ์ด๋“  ๋ถ€์ •์ ์ด๋“  ๋‹ค์–‘ํ•œ ์ƒํ™œ ์ด๋ฒคํŠธ์— ๋Œ€ํ•ด ๋งž์ถคํ˜• ๋งˆ์ผ€ํŒ…๊ณผ ์ œ์•ˆ์„ ์ œ๊ณตํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋  ๊ฒƒ์ž…๋‹ˆ๋‹ค.

transaction fingerprints over time

๊ณ ๊ฐ ์„ธ๋ถ„ํ™”

๊ณ ๊ฐ ํ–‰๋™ ๋ถ„์„์— ํฐ ์˜ˆ์ธก ๊ฐ€์น˜๋ฅผ ์ œ๊ณตํ•˜๋Š” ๋ช‡ ๊ฐ€์ง€ ์‹ ํ˜ธ๋ฅผ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์—ˆ์ง€๋งŒ, ์‹ค์ œ ์„ธ๋ถ„ํ™” ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜์ง€๋Š” ๋ชปํ–ˆ์Šต๋‹ˆ๋‹ค. ์„ธ๋ถ„ํ™”, ์ดํƒˆ ๋ฐฉ์ง€ ๋˜๋Š” ๊ณ ๊ฐ ์ƒ์•  ๊ฐ€์น˜ ๋“ฑ ๊ณ ๊ฐ 360 ์‚ฌ์šฉ ์‚ฌ๋ก€์™€ ๊ด€๋ จํ•˜์—ฌ ๋” ๋ฐœ์ „๋œ ๊ธฐ์ˆ ์„ ๋ณด์œ ํ•œ ๋ฆฌํ…Œ์ผ ์—…๊ณ„์˜ ์‚ฌ๋ก€๋ฅผ ์ฐธ๊ณ ํ•˜์—ฌ, ์—…๊ณ„ ์ตœ๊ณ ์˜ ๋ฆฌํ…Œ์ผ ์กฐ์ง์—์„œ ์‚ฌ์šฉํ•˜๋Š” ๋‹ค์–‘ํ•œ ์„ธ๋ถ„ํ™” ๊ธฐ์ˆ ์„ ์•ˆ๋‚ดํ•˜๋Š” ๋ฆฌํ…Œ์ผ์šฉ ๋ ˆ์ดํฌํ•˜์šฐ์Šค ์†”๋ฃจ์…˜ ์•ก์…€๋Ÿฌ๋ ˆ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฆฌํ…Œ์ผ ์—…๊ณ„์˜ ๋ชจ๋ฒ” ์‚ฌ๋ก€์— ๋”ฐ๋ผ ์ „์ฒด ๊ณ ๊ฐ์ธต์„ ์„œ๋กœ ๋‹ค๋ฅธ ์‡ผํ•‘ ํŠน์„ฑ์„ ๋ณด์ด๋Š” 5๊ฐ€์ง€ ๊ทธ๋ฃน์œผ๋กœ ์„ธ๋ถ„ํ™”ํ•  ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.

segmenting our customer base into 5 spending persona

0๋ฒˆ ํด๋Ÿฌ์Šคํ„ฐ๋Š” ๋„๋ฐ• ํ™œ๋™(์œ„ ๊ทธ๋ž˜ํ”„์—์„œ ํŒ๋งค์ž ์นดํ…Œ๊ณ ๋ฆฌ 4)์— ํŽธ์ค‘๋˜์–ด ์žˆ๋Š” ๋ฐ˜๋ฉด, ๋‹ค๋ฅธ ๊ทธ๋ฃน์€ ์˜จ๋ผ์ธ ๋น„์ฆˆ๋‹ˆ์Šค์™€ ๊ตฌ๋… ๊ธฐ๋ฐ˜ ์„œ๋น„์Šค(ํŒ๋งค์ž ์นดํ…Œ๊ณ ๋ฆฌ 6)์— ๋” ์ง‘์ค‘๋˜์–ด ์žˆ์–ด ์ Š์€ ์„ธ๋Œ€์˜ ๊ณ ๊ฐ์„ ๋‚˜ํƒ€๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ํ–‰๋™ ์ค‘์‹ฌ ์„ธ๊ทธ๋จผํŠธ์™€ ์‹ ์šฉ ๊ฒฐ์ •, ์ฐจ์„ ์ฑ…, ๊ฐœ์ธํ™”๋œ ์„œ๋น„์Šค, ๊ณ ๊ฐ ๋งŒ์กฑ๋„, ์ฑ„๊ถŒ ์ถ”์‹ฌ ๋˜๋Š” ๋งˆ์ผ€ํŒ… ๋ถ„์„์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ์„ ๋” ์ž˜ ์ดํ•ดํ•˜๊ธฐ ์œ„ํ•ด ๊ณ ๊ฐ์— ๋Œ€ํ•ด ์ด๋ฏธ ์•Œ๊ณ  ์žˆ๋Š” ์ถ”๊ฐ€ ๋ฐ์ดํ„ฐ ํฌ์ธํŠธ(๊ธฐ์กด ์„ธ๊ทธ๋จผํŠธ, ์ƒํ’ˆ ๋ฐ ์„œ๋น„์Šค, ํ‰๊ท  ์†Œ๋“, ์ธ๊ตฌํ†ต๊ณ„ ๋“ฑ)๋กœ ์ด ๊ด€์ ์„ ๋ณด์™„ํ•ด ์ฃผ์‹œ๊ธฐ ๋ฐ”๋ž๋‹ˆ๋‹ค.

๋งˆ๋ฌด๋ฆฌํ•˜๋ฉฐ

์ด ์†”๋ฃจ์…˜ ์•ก์…€๋Ÿฌ๋ ˆ์ดํ„ฐ์—์„œ๋Š” ์†Œ๋งค ์€ํ–‰์˜ ๊ณ ๊ฐ ์„ธ๋ถ„ํ™”๋ฅผ ์œ„ํ•ด ์นด๋“œ ๊ฑฐ๋ž˜ ๋ฐ์ดํ„ฐ์— ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) ๊ธฐ์ˆ ์„ ์„ฑ๊ณต์ ์œผ๋กœ ์ ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ ๊ทธ๋ž˜ํ”„ ๋ถ„์„, ํ–‰๋ ฌ ๊ณ„์‚ฐ, NLP, ํด๋Ÿฌ์Šคํ„ฐ๋ง ๊ธฐ์ˆ ์„ ๋ชจ๋‘ ํ•˜๋‚˜์˜ ํ”Œ๋žซํผ์— ๊ฒฐํ•ฉํ•˜๊ณ  ๋ณด์•ˆ๊ณผ ํ™•์žฅ์„ฑ์„ ๊ฐ–์ถฐ์•ผ ํ•˜๋Š” ์ด ๊ณผ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ๊ธˆ์œต ์„œ๋น„์Šค์šฉ ๋ฐ์ดํ„ฐ๋ ˆ์ดํฌํ•˜์šฐ์Šค์˜ ์ ํ•ฉ์„ฑ์„ ์ž…์ฆํ–ˆ์Šต๋‹ˆ๋‹ค. SQL์„ ํ†ตํ•ด ์‰ฝ๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋Š” ๊ธฐ์กด์˜ ์„ธ๋ถ„ํ™” ๋ฐฉ์‹์— ๋น„ํ•ด, ๋ฐ์ดํ„ฐ์™€ AI๋ฅผ ํ™œ์šฉํ•œ ์„ธ๋ถ„ํ™” ๋ฐฉ์‹์€ ๊ณ ๊ฐ์— ๋Œ€ํ•œ ๋ณด๋‹ค ์™„์ „ํ•œ ์ •๋ณด๋ฅผ ์ œ๊ณตํ•˜๋ฉฐ ๋Œ€๊ทœ๋ชจ๋กœ ์‹ค์‹œ๊ฐ„ ์ฒ˜๋ฆฌ๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

๊ธฐ์กด ๋ชจ๋ธ๊ณผ ๋ฐ์ดํ„ฐ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๊ฐ€๋Šฅํ•œ ๊ฒƒ์˜ ํ‘œ๋ฉด๋งŒ ๊ธ์–ด๋ชจ์•˜์ง€๋งŒ, ๊ณ ๊ฐ์˜ ์†Œ๋น„ ํŒจํ„ด์ด ์ธ๊ตฌํ†ต๊ณ„ํ•™์  ์š”์ธ๋ณด๋‹ค ๋” ํšจ๊ณผ์ ์œผ๋กœ ๊ฐœ์ธํ™”๋ฅผ ์ถ”์ง„ํ•  ์ˆ˜ ์žˆ์Œ์„ ์ฆ๋ช…ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ๊ต์ฐจ ํŒ๋งค/์—…์…€, ๊ฐ€๊ฒฉ ์ฑ…์ •/ํƒ€๊ฒŸํŒ…, ๊ณ ๊ฐ ์ถฉ์„ฑ๋„ ๋ฐ ์‚ฌ๊ธฐ ํƒ์ง€ ์ „๋žต ๋“ฑ ๋‹ค์–‘ํ•œ ์ƒˆ๋กœ์šด ๊ธฐํšŒ๋ฅผ ์ฐฝ์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฌด์—‡๋ณด๋‹ค๋„ ์ด ๊ธฐ์ˆ ์„ ํ†ตํ•ด ์€ํ–‰ ๊ณ„์ขŒ๊ฐ€ ์—†๊ฑฐ๋‚˜ ์‹ ์šฉ ๊ธฐ๋ก์ด ์—†๋Š” ์†Œ์™ธ๋œ ์†Œ๋น„์ž์— ๋Œ€ํ•œ ์ •๋ณด๋ฅผ ํ™œ์šฉํ•˜์—ฌ ํ•™์Šตํ•  ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ์„ธ๊ณ„๊ฒฝ์ œํฌ๋Ÿผ์— ๋”ฐ๋ฅด๋ฉด ์€ํ–‰ ๊ณ„์ขŒ๊ฐ€ ์—†๋Š” ์„ฑ์ธ ์ธ๊ตฌ๊ฐ€ ์ „ ์„ธ๊ณ„์ ์œผ๋กœ 17์–ต ๋ช…์— ๋‹ฌํ•˜๊ณ , ๋ฏธ๊ตญ ์—ฐ๋ฐฉ์ค€๋น„์ œ๋„์ด์‚ฌํšŒ์— ๋”ฐ๋ฅด๋ฉด 2018๋…„ ๋ฏธ๊ตญ์—์„œ๋งŒ 5500๋งŒ ๋ช…์ด ์€ํ–‰ ์„œ๋น„์Šค๋ฅผ ์ด์šฉํ•˜์ง€ ๋ชปํ•˜๊ณ  ์žˆ๋Š” ์ƒํ™ฉ์—์„œ ์ด๋Ÿฌํ•œ ์ ‘๊ทผ ๋ฐฉ์‹์€ ์†Œ๋งค ๊ธˆ์œต์˜ ๊ณ ๊ฐ ์ค‘์‹ฌ์ ์ด๊ณ  ํฌ์šฉ์ ์ธ ๋ฏธ๋ž˜๋ฅผ ํ–ฅํ•œ ๊ธธ์„ ์—ด์–ด์ค„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ง€๊ธˆ ๋ฐ”๋กœ ๋ฐ์ดํ„ฐ๋ธŒ๋ฆญ์Šค์—์„œ ์•ก์…€๋Ÿฌ๋ ˆ์ดํ„ฐ ๋…ธํŠธ๋ถ์„ ์‚ฌ์šฉํ•ด ๊ท€์‚ฌ์˜ ๊ณ ๊ฐ 360 ๋ฐ์ดํ„ฐ ์ž์‚ฐ ์ „๋žต์„ ํ…Œ์ŠคํŠธํ•˜๊ณ , ๋น„์Šทํ•œ ์‚ฌ์šฉ ์‚ฌ๋ก€๋ฅผ ๊ฐ€์ง„ ๊ณ ๊ฐ์„ ์–ด๋–ป๊ฒŒ ์ง€์›ํ–ˆ๋Š”์ง€ ์ž์„ธํžˆ ์•Œ์•„๋ณด๋ ค๋ฉด ๋ฐ์ดํ„ฐ๋ธŒ๋ฆญ์Šค์— ๋ฌธ์˜ํ•˜์„ธ์š”.ย ย 

Translated by HaUn Kim - Original Blog Post

๊ฒŒ์‹œ๋ฌผ์„ ๋†“์น˜์ง€ ๋งˆ์„ธ์š”

๊ด€์‹ฌ ์žˆ๋Š” ์นดํ…Œ๊ณ ๋ฆฌ๋ฅผ ๊ตฌ๋…ํ•˜๊ณ  ์ตœ์‹  ๊ฒŒ์‹œ๋ฌผ์„ ๋ฐ›์€ํŽธ์ง€ํ•จ์œผ๋กœ ๋ฐ›์•„๋ณด์„ธ์š”

๋‹ค์Œ์€ ๋ฌด์—‡์ธ๊ฐ€์š”?

Engineering blog

์†”๋ฃจ์…˜ ์•ก์…€๋Ÿฌ๋ ˆ์ดํ„ฐ

March 4, 2024/6๋ถ„ ์†Œ์š”

๋งค์ถœ ์˜ˆ์ธก ๋ฐ ์–ดํŠธ๋ฆฌ๋ทฐ์…˜์œผ๋กœ ๊ด‘๊ณ  ํšจ๊ณผ ์ธก์ •ํ•˜๊ธฐ

Databricks adds new migration Brickbuilder Solutions to help customers succeed with AI

ํŒŒํŠธ๋„ˆ

March 10, 2024/1๋ถ„ ์ด๋‚ด ์†Œ์š”

๋ฐ์ดํ„ฐ๋ธŒ๋ฆญ์Šค๋Š” ๊ณ ๊ฐ์˜ AI ์„ฑ๊ณต์„ ์œ„ํ•ด ์ƒˆ๋กœ์šด ๋งˆ์ด๊ทธ๋ ˆ์ด์…˜ Brickbuilder ์†”๋ฃจ์…˜์„ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค