Python購物籃數據（關(guān)聯(lián)分析）
pip?install?mlxtend由于已經(jīng)是csv格式，所以直接輸入：
每一行： 一個(gè)購物籃
每一列： 購物籃中的商品
先看看pd讀的對不對：
然后按行打?。?br>再將這些存在一個(gè)數組中：
1、什么是獨熱碼
獨熱碼，在英文文獻中稱(chēng)做 one-hot code, 直觀(guān)來(lái)說(shuō)就是有多少個(gè)狀態(tài)就有多少比特，而且只有一個(gè)比特為1，其他全為0的一種碼制，更加詳細參加 one_hot code（維基百科） 。在機器學(xué)習中對于離散型的分類(lèi)型的數據，需要對其進(jìn)行數字化比如說(shuō)性別這一屬性，只能有男性或者女性或者其他這三種值，如何對這三個(gè)值進(jìn)行數字化表達？一種簡(jiǎn)單的方式就是男性為0，女性為1，其他為2，這樣做有什么問(wèn)題？
使用上面簡(jiǎn)單的序列對分類(lèi)值進(jìn)行表示后，進(jìn)行模型訓練時(shí)可能會(huì )產(chǎn)生一個(gè)問(wèn)題就是特征的因為數字值得不同影響模型的訓練效果，在模型訓練的過(guò)程中不同的值使得同一特征在樣本中的權重可能發(fā)生變化，假如直接編碼成1000，是不是比編碼成1對模型的的影響更大。為了解決上述的問(wèn)題，使訓練過(guò)程中不受到因為分類(lèi)值表示的問(wèn)題對模型產(chǎn)生的負面影響，引入獨熱碼對分類(lèi)型的特征進(jìn)行獨熱碼編碼。
? ? ? ? 可以這樣理解，對于每一個(gè)特征，如果它有m個(gè)可能值，那么經(jīng)過(guò)獨熱編碼后，就變成了m個(gè)二元特征（如成績(jì)這個(gè)特征有好，中，差變成one-hot就是100, 010, 001）。并且，這些 特征互斥 ，每次只有一個(gè)激活。因此，數據會(huì )變成稀疏的。
這樣做的好處主要有：
（1）解決了分類(lèi)器不好處理 屬性數據 的問(wèn)題
（2）在一定程度上也起到了 擴充特征 的作用
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? M
以下為我摘取的別人的，貼上原文鏈接
著(zhù)名的啤酒與尿布, 這是典型的購物籃問(wèn)題, 在數據挖掘界叫做頻繁項集(Frequent Itemsets).
note: 數據類(lèi)型寫(xiě)法按照Python的格式.
一. 目標與定義
1. 問(wèn)題背景
超市中購物清單中總是有一些項目是被消費者一同購買(mǎi)的. 如果我們能夠發(fā)現這些 關(guān)聯(lián)規則 ( rules), 并合理地加以利用, 我們就能取得一定成果. 比如我們發(fā)現熱狗和芥末存在這種關(guān)系, 我們對熱狗降價(jià)促銷(xiāo), 而對芥末適當提價(jià), 結果能顯著(zhù)提高超市的銷(xiāo)售額.
2. 目標
找到頻繁地 共同 出現在消費者結賬小票中項目(比如啤酒和尿布), 來(lái)一同促銷(xiāo), 相互拉動(dòng), 提高銷(xiāo)售額.
3. 定義
支持度support: 其實(shí)就是概率論中的頻次frequency
支持度閾值support : 記為s, 指分辨頻繁項集的臨界值.
頻繁項集: 如果I是一個(gè)項集(Itemset), 且I的出現頻次(i.e.支持度)大于等于s, 那么我們說(shuō)I是頻繁項集.
一元項, 二元項, 三元項: 包含有一種商品, 兩種, 三種商品的項集.
4. 關(guān)聯(lián)規則
關(guān)聯(lián)規則: 形式為I->j, 含義是如果I種所有項都出現在某個(gè)購物籃的話(huà), 那么j很有可能也出現在這個(gè)購物籃中. 我們可以給出相應的值(可信度, 即概率論中的置信度).
其中, 這個(gè)關(guān)聯(lián)規則的可信度計算為 = I∪{j} / I, 本身是非常符合直覺(jué)和常識的. 比如我們說(shuō)關(guān)聯(lián)規則{dog, cat} -> and 的可信度為0.6, 因為{dog, cat}出現在了1, 2, 3, 6, 7五個(gè)購物籃中, 而and出現在了1,2,7中, 因此我們可以算出 = freq[{dog, cat, and}] / freq[{dog, cat}] = 3/5 = 0.6
注意到, 分子部分的頻次總是比分母低, 這是因為{dog, cat} 出現的次數總是大于等于{dog, cat, and}的出現次數.
二. 購物籃與A-Priori算法
1. 購物籃數據表示
我們將有一個(gè)文本文件輸入, 比如allBills.txt, 或者allBills.csv. 里面每行是一個(gè)購物籃.
文件的頭兩行可能是這樣(df.show(2)):
{23, 456, 1001}
{3, 18, 92, 145}
我們假定這是一家大型連鎖超市, 比如沃爾瑪, 因此這個(gè)文本文件是非常大的, 比如20GB. 因此我們無(wú)法一次將該文件讀入內存. 因此, 算法的主要時(shí)間開(kāi)銷(xiāo)都是磁盤(pán)IO.
我們同時(shí)還假定, 所有購物籃的平均規模是較小的, 因此在內存中產(chǎn)生所有大小項集的時(shí)間開(kāi)銷(xiāo)會(huì )比讀入購物籃的時(shí)間少很多.
我們可以計算, 對于有n個(gè)項目組成的購物籃而言, 大小為k的所有子集的生成時(shí)間約為(n, k) = n! / ((n-k)!k!) = O(n^k/ k!), 其中我們只關(guān)注較小的頻繁項集, 因此我們約定k=2或者k=3. 因此所有子集生成時(shí)間T = O(n^3).
Again, 我們認為 在內存中產(chǎn)生所有大小項集的時(shí)間開(kāi)銷(xiāo)會(huì )比讀入購物籃的時(shí)間少很多.
2. Itemset計數過(guò)程中的內存使用
我們必須要把整個(gè)k,v字典放在內存中, 否則來(lái)一個(gè)Itemset就去硬盤(pán)讀取一次字典將十分十分地慢.
此處, 字典是k=(18, 145), v=15這種形式. 此處, 應當注意到, 如果有{bread, milk, orange}這樣的String類(lèi)型輸入, 應當預先用一個(gè)字典映射成對應的整數值編碼, 比如1920, 4453, 9101這樣.
那么, 我們最多能用字典存儲多少種商品?
先看下我們存儲多少個(gè)count值.
我們假定項的總數目是n, 即超市有n種商品, 每個(gè)商品都有一個(gè)數字編號, 那么我們需要(n, 2) = n^2/2 的大小來(lái)存儲所有的二元組合的count, 假設int是占4個(gè)byte, 那么需要(2·n^2)Byte內存. 已知2GB內存 = 2^31 Byte, 即2^31/2 = 2^30 >= n^2 --> n <= 2^15. 也就是說(shuō)n<33 000, 因此我們說(shuō)商品種類(lèi)的最多是33k種.
但是, 這種計算方法存在一個(gè)問(wèn)題, 并不是有10種商品, 那么這10種商品的任意二元組合都會(huì )出現的. 對于那些沒(méi)出現的組合, 我們在字典中完全可以不存儲, 從而節省空間.
同時(shí), 別忘了我們同樣也得存儲key = (i, j), 這是至少額外的兩個(gè)整數.
那么我們到底具體怎么存儲這些計數值?
可以采用三元組的方式來(lái)構造字典. 我們采用[i, j, count]形式來(lái)存儲, 其中i代表商品種類(lèi)1, j代表商品種類(lèi)2, 前兩個(gè)值代表key, 后面的value就是count, 是這個(gè)二元組合下的計數.
現在, 讓我們注意到我們(1)假定購物籃平均大小較小, 并(2)利用三元組(2個(gè)key的)字典和(3)不存儲沒(méi)出現組合優(yōu)勢. 假設有100k = 10^5種商品, 有10million=10^7個(gè)購物籃, 每個(gè)購物籃有10個(gè)項, 那么這種字典空間開(kāi)銷(xiāo)是(10, 2) · 10^7 = 45 x 10^7 x 3= 4.5x10^8x3 = 1.35x10^9 個(gè)整數.? 這算出來(lái)約為4x10^8 Byte = 400MB, 處于正常計算機內存范圍內.
3. 項集的單調性
如果項集I是頻繁的, 那么它的所有子集也都是頻繁的. 這個(gè)道理很符合常識, 因為{dog, cat} 出現的次數總是大于等于{dog, cat, and}的出現次數.
這個(gè)規律的推論, 就是嚴格地, 我們頻繁一元組的個(gè)數> 頻繁二元組的個(gè)數 > 頻繁三元組的個(gè)數.
4. A-Priori算法
我們通過(guò)Itemset計數中內存使用的*, 已經(jīng)明確了我們總是有足夠的內存用于所有存在的二元項集(比如{cat, dog})的計數. 這里, 我們的字典不存放不存在于購物籃中的任何二元項集合, 而且頻繁二元組的數目將會(huì )大于三元頻繁三元組> ...
我們可以通過(guò)單邊掃描購物籃文件, 對于每個(gè)購物籃, 我們使用一個(gè)雙重循環(huán)就可以生成所有的項對(即二元組). 每當我們生成一個(gè)項對, 就給其對應的字典中的value +1(也稱(chēng)為計數器). *, 我們會(huì )檢查所有項對的計數結果,并且找出那些>=閾值s的項對, 他們就是頻繁項對.
1) A-Priori算法的*遍掃描
在*遍掃描中, 我們將建立兩個(gè)表. *張表將項的名稱(chēng)轉換為1到n之間的整數, 從而把String類(lèi)型這樣的key轉為空間大小更小的int類(lèi)型.? 第二張表將記錄從1~n每個(gè)項在所有購物籃中出現的次數. 形式上類(lèi)似
table 0(name table): {'dolphin': 7019, 'cat': 7020}? //dict形式, 其實(shí)也可以做成list形式 [['dolphin', 7019], ['cat', 7020]]
table 1(single-item counter table): {7019: 15, 7020: 18}? //dict形式, 其實(shí)也可以做成數組形式A[7019] = 2, A[7020] = 18
2) *遍掃描完的處理
*遍掃描完后, 我們會(huì )按照自己設定的閾值s, 對整個(gè)table 1再進(jìn)行一次mapping, 因為我們只關(guān)注*counter值大于等于閾值的項目, 而且不關(guān)心其counter值具體多少. 因此, mapping策略是:
對凡是counter
3) 第二遍掃描
第二遍掃描所做的事有三:
(1) 對每個(gè)購物籃, 在table 1中檢查其所有的商品項目, 把所有為頻繁項的留下來(lái)建立一個(gè)list.
(2) 通過(guò)一個(gè)雙重循環(huán)生成該list中的所有項對.
(3) 再走一次循環(huán), 在新的數據結構table 2(dict或者list)中相應的位置+1. 此時(shí)的效果是dicta = {48: {13: 5}, 49: {71, 16}} 或者 lista [ [48, 13, 5],[49, 71, 16], ... ]
注意此時(shí)內存塊上存儲的結構: table1(name table), table2(single-item counter table), table3(double-item counter table)
5. 推廣: 任意大小頻繁項集上的A-Priori算法
我們對上面這個(gè)算法進(jìn)行推廣.
從任意集合大小k到下一個(gè)大小k+1的轉移模式可以這么說(shuō):
(1) 對每個(gè)購物籃, 在table 1中檢查其所有的商品項目, 把所有為頻繁項的留下來(lái)建立一個(gè)list.
(2) 我們通過(guò)一個(gè)k+1重循環(huán)來(lái)生成該list中的所有(k+1)元組
(3) 對每個(gè)k+1元組, 我們生成其的(k+1 choose k)個(gè)k元組, 并檢查這些k元組是否都在之前的table k中. (注意到k=1的時(shí)候, 這步與(1)是重復的, 可以省略)
(4)再走一次循環(huán), 在新的數據結構table k+1(dict或者list)中相應的位置+1. 此時(shí)的效果是k=2, k+1=3, 生成dicta = {48: {13: {19: 4}}, 49: {71: {51: 10}},? ... } 或者 生成lista [ [48, 13, 19, 4],[49, 71, 51, 10], ... ]
注意, 在進(jìn)入下一次掃描前, 我們還需要額外把counter中值小于s的元組的計數值都記為0.
模式總體是: C1 過(guò)濾后 L1 計數后 C2 置零后 C2' 過(guò)濾后 L2 計數后 C3 置零后 C3' ......
END.
生成的商品種類(lèi)為set形式：轉成list形式
*張表：把項名稱(chēng)轉換為1~n的整數：
至于數數，大神說(shuō)，你就用.Counter就好：哈？
哈哈，可愛(ài)的wyy，開(kāi)始分析吧~嚕嚕嚕啦啦啦~嚕啦嚕啦嚕~
生成全零矩陣：
換成zeros:
統計每一列的和，即每種商品的購買(mǎi)總數：
每一行列:
*行：
建立一個(gè)新的只含有頻繁一項集的購物籃矩陣：
頻繁二項集：
用python怎么實(shí)現購物車(chē)的加減功能
1、利用selenium控制瀏覽器實(shí)現搶購加減功能，用此庫模擬用戶(hù)從打開(kāi)瀏覽器到加入購物車(chē)提交訂單付款的過(guò)程即可實(shí)現搶購優(yōu)點(diǎn)是簡(jiǎn)單方便，缺點(diǎn)是速度慢和受網(wǎng)速影響較大。2、用Requests庫，模擬提交瀏覽器到服務(wù)器的數據，瀏覽器在開(kāi)發(fā)者模式界面看到每一次請求的具體信息，把這些信息通過(guò)此庫發(fā)送到服務(wù)器也可實(shí)現搶購加減功能，優(yōu)點(diǎn)是速度快，缺點(diǎn)是復雜，容易被識別反爬蟲(chóng)。
python怎么使用？
答:如果您已經(jīng)成功安裝Python，那么對于初學(xué)者來(lái)說(shuō)，你可以先在命令行下執行一些語(yǔ)句去看一下效果。 Python和C語(yǔ)言等有一些不一樣，它可以逐行解析語(yǔ)句，如下所示,定義一個(gè)變量a的值。
當你更深入的時(shí)候，你就可以使用一些專(zhuān)用的Python開(kāi)發(fā)環(huán)境來(lái)進(jìn)行代碼編寫(xiě)比如PyChatm和Jupyter。希望可以幫助到你。
少兒編程python哪家好？
一、什么是少兒編程少兒編程教育是通過(guò)編程游戲啟蒙、可視化圖形編程等課程，培養學(xué)生的計算思維和創(chuàng )新解難能力的課程。少兒編程教育并不是要培養未來(lái)的程序員，而是讓孩子能掌握新科技并應用新科技表達自己，由科技時(shí)代的消費者轉變?yōu)閯?chuàng )造者；同時(shí)，少兒編程是培養小朋友思維能力的理想載體。
二、STEAM教育是什么
STEAM是一種教育理念，有別于傳統的單*、重書(shū)本知識的教育方式。STEAM代表科學(xué)（Science）、技術(shù)（）、工程（）、藝術(shù)（Arts）、數學(xué)（）。STEAM教育就是集科學(xué)，技術(shù)，工程，藝術(shù)，數學(xué)多*融合的綜合教育。
三、少兒編程主要學(xué)習什么
不同年齡段的孩子，其認知能力不同，適合入門(mén)學(xué)習的編程語(yǔ)言也不同。
編程主要學(xué)的是邏輯和算法，少兒編程中更重要的是學(xué)習邏輯，就目前而言，剛入門(mén)的孩子以scratch或Python作為*門(mén)編程語(yǔ)言來(lái)學(xué)習是非常合適的。
四、scracth相關(guān)知識
1、什么是scratch
Scratch是麻省理工的“終身幼兒園團隊”開(kāi)發(fā)的圖形化編程工具，目的是幫助孩子發(fā)展學(xué)習技能，學(xué)習創(chuàng )造性思維，以及學(xué)習集體合作。
Scratch將程序指令變?yōu)橐粋€(gè)個(gè)“積木塊”，使用者無(wú)需敲擊代碼或是背誦任何編程指令，只需要將積木塊拖拽并連接在一起，就可以很方便的進(jìn)行編程，從而快速制作出動(dòng)畫(huà)、游戲、交互程序。
2、Scratch是游戲嗎
Scratch不是游戲，而是一款可以制作游戲、動(dòng)畫(huà)、工具的編程語(yǔ)言。一旦掌握了Scratch，孩子們就能自由自在地揮灑它們無(wú)限的創(chuàng )意，享受創(chuàng )造的樂(lè )趣。Scratch由麻省理工媒體實(shí)驗室開(kāi)發(fā)出來(lái)至今，有超過(guò)100萬(wàn)的孩子在學(xué)習Scratch。在中*的教育中通過(guò)Scratch，擴展了語(yǔ)文，數學(xué)，外語(yǔ)，音樂(lè )，體育，科學(xué)的教學(xué)深度。
3、Scratch為什么適合孩子學(xué)習（特點(diǎn)）
（1）操作簡(jiǎn)單易懂
Scratch不像其他編程那樣復雜，整個(gè)編程的過(guò)程，Scratch是以鼠標拖拽的形式操作的，所以對于不會(huì )閱讀，不認識英文字母，不會(huì )使用鍵盤(pán)的小朋友們來(lái)說(shuō)，完全不構成障礙；并且scratch對計算機硬件配置沒(méi)有任何特殊要求。
（2）學(xué)習過(guò)程視覺(jué)化，對初學(xué)者非常友好
編程過(guò)程中，孩子們拖動(dòng)鼠標移動(dòng)積木，立刻就能看見(jiàn)他們這一操作所產(chǎn)生的結果，非常直觀(guān)生動(dòng)。傳統的文本代碼的編程語(yǔ)言，有很多嚴格語(yǔ)法規則，比如括號，字母的大小寫(xiě)等都有嚴格的要求，而scratch完全簡(jiǎn)化了這些規則，孩子們不需要死記硬背，不需要理解亂七八糟的符號是什么意思，總之一句話(huà)：有了scratch，孩子學(xué)編程非常簡(jiǎn)單。
（3）學(xué)習內容全面，有利于過(guò)度到其他語(yǔ)言
在這里要給各位家長(cháng)們強調一點(diǎn)，scratch不是一個(gè)游戲，是一門(mén)真正的計算語(yǔ)言。很多成年人也在使用它，成熟的scratch程序員，可以用它來(lái)實(shí)現非常復雜的功能。而且scratch包含了所有計算機語(yǔ)言的通用概念：有函數、循環(huán)、條件判斷等等。不管學(xué)哪種程序語(yǔ)言，都會(huì )碰到這些最基本的東西。對于學(xué)習scratch的孩子而言，想要繼續深入學(xué)習任何別的編程語(yǔ)言，都是水到渠成，沒(méi)有任何障礙的。
（4）學(xué)習成果快速反饋，給孩子極大的成就感
孩子們用scratch完成的動(dòng)畫(huà)、游戲、故事等各種作品，都可以發(fā)布，跟朋友們分享，可以極大的增加孩子的成就感。
Python常用的場(chǎng)景:
（1）WEB開(kāi)發(fā)。就是通常所說(shuō)的網(wǎng)站開(kāi)發(fā)，APP后端接口的開(kāi)發(fā)，Python最火的WEB開(kāi)發(fā)框架Django在業(yè)界非常流行，其中的設計哲學(xué)常用于其它程序語(yǔ)言設計的框架。
（2）爬蟲(chóng)。爬蟲(chóng)就是俗話(huà)說(shuō)的抓網(wǎng)頁(yè)，抓別人的東西。在爬蟲(chóng)領(lǐng)域，Python幾乎是霸主地位，擁有成熟強大的爬蟲(chóng)框架庫，想從網(wǎng)絡(luò )中抓什么就抓什么。
云計算。目前最*的云計算框架OpenStack就是使用Python開(kāi)發(fā)。
（3）人工智能。毫無(wú)疑問(wèn)，人工智能是當下乃至未來(lái)科技發(fā)展的主旋律。人工智能在這些年獲得快速發(fā)展也是得益于Python豐富而強大的科學(xué)計算能力。大家都知道谷歌開(kāi)源的人工智能學(xué)習框架就是采用Python開(kāi)發(fā)，人工智能的發(fā)展反過(guò)來(lái)也深深的影響了Python的大規模使用。
（4）自動(dòng)化運維。相信每一個(gè)運維人員都知道Python，各行各業(yè)中的系統經(jīng)常使用Python寫(xiě)小工具來(lái)自動(dòng)化操作一系列機器指令，讓一個(gè)人能夠管理成百上千的機器。同時(shí)Python也是金融分析，量化交易領(lǐng)域用的最多的語(yǔ)言。
掌握Python，小朋友們可以嘗試使用它做各種各樣有趣的事，在未來(lái)工業(yè)化4.0的背景下，使用編程語(yǔ)言，能夠幫助小朋友知其然又知其所以然，順利的與人工智能機器人協(xié)同工作。
六、scracth與Python有什么不同
1、開(kāi)發(fā)目的不同。Scratch是專(zhuān)注于提供適用于兒童的編程語(yǔ)言和工具，而Python是一種計算機編程語(yǔ)言，更多的被用于計算機項目。
2、使用對象不同，Scratch針對的一般是*及以下階段的學(xué)生，可視化語(yǔ)言可以很好的幫助學(xué)生學(xué)習基本的邏輯、關(guān)系推理、數學(xué)的概念，同時(shí)避免過(guò)早的接觸到“形式運算階段”之后才能理解的抽象的演繹推理。Python針對*高年級，初高中階段，這個(gè)時(shí)候學(xué)生的數理邏輯基礎相對扎實(shí)，有了基礎的思維邏輯。
3、學(xué)習方式不同。scratch是界面色彩豐富，圖形化編程，只要用鼠標拖動(dòng)圖標就可以，通過(guò)一步一步指導，可以做出很復雜的作品。python是命令式編程，本身打字就慢，還要打那么多，如果是急性子的孩子，會(huì )很容易失去興趣；但是它是高級語(yǔ)言，靈活性高，學(xué)會(huì )后，能夠做的事情遠遠比scratch多。
python有少兒編程嗎
有少兒編程。少兒編程的優(yōu)點(diǎn)：
少兒程序員可以使孩子加強思維訓練，從而使他們的大腦能夠為孩子提供良好的實(shí)踐活動(dòng)，從而使他們具有一定的創(chuàng )造力和想象力
Python編程使孩子們在學(xué)習的道路上走得越來(lái)越遠。它提供的編程軟件非常有趣。它可以帶給孩子學(xué)習的興趣，帶來(lái)學(xué)習的動(dòng)力，并使孩子有一個(gè)持久的過(guò)程。學(xué)習編程不僅可以讓孩子掌握一項新技能，還可以給孩子帶來(lái)良好的互動(dòng)，從而使孩子們對未來(lái)充滿(mǎn)挑戰。
學(xué)習編程將是一個(gè)循序漸進(jìn)的過(guò)程，使孩子們能夠不斷發(fā)現新知識，不斷思考和分析問(wèn)題，從而為孩子提供更好的鍛煉方法?，F在，許多孩子都在大約4歲時(shí)開(kāi)始編程課程。這表明父母有長(cháng)遠眼光，可以給孩子更好的基礎。
Python編程可以使孩子們更輕松地學(xué)習編程課程，并且還可以通過(guò)多種方式給孩子們學(xué)習。孩子們可以通過(guò)當前的在線(xiàn)教學(xué)方法學(xué)習編程，從而使父母不必來(lái)回走動(dòng)，從而孩子可以自由地掌握時(shí)間。
更多Python知識，請關(guān)注：Python自學(xué)網(wǎng)??！
奇米在线7777在线精品|国产成人精品免费视|精品无码不卡一区二区三区|国内综合精品午夜久久资源|亚洲视频在线观看..